果不其燃-CSDN博客

原创 Linux系统基础操作命令-其他常用命令（六）

Linux系统基础操作命令-其他常用命令（六）ifconfig命令查看网络设置ip addr命令查看网络设置ping命令查看网络是否连通ping+域名ping+ip addressctrl+c 终止操作useradd命令创建用户账号useradd -u 600（GID:0超级用户,1-499系统用户,500-232普通用户） -d /user/testuser01（用户家目...

2020-02-24 15:59:07 106

该项目已退役。详情请参阅其阁楼页面。文档主页Sqoop 用户指南 (v1.4.7)Sqoop 用户指南 (v1.4.7)目录一、简介2. 支持的版本3. Sqoop 发布4. 先决条件5. 基本用法6. Sqoop 工具6.1. 使用命令别名6.2. 控制 Hadoop 安装6.3. 使用通用参数和特定参数6.4. 使用选项文件传递参数6.5. 使用工具7. sqoop-import7.1. 目的7.2. 句法7.2.1. 连接到数据库服务器7.2.2. 选择要导入

2021-08-12 22:28:38 1169

原创 linux常用命令-问题分析

linux常用命令-问题分析一、环境变量env 打印所有变量export 变量名=“/path” 指定临时环境变量，shell窗口关闭结束echo $变量名打印变量值二、?,?,?,#等代表什么0这个程式的执行名字∗∗0 这个程式的执行名字**0这个程式的执行名字∗∗n 这个程式的第n个参数值，n=1…9**$* 这个程式的所有参数,此选项参数可超过9个。$# 这个程式的参数个数$$ 这个程式的PID(脚本运行的当前进程ID号)$! 执行上一个背景指令的PID(后台运行的最后

2021-07-27 22:33:44 230

原创 Core Dump 核心转储-进程异常分析jmap命令

Core Dump 核心转储一、简介程序运行过程中异常退出定位，查看到程序异常时的所有信息，变量值、栈信息、内存数据，程序异常时的运行位置（甚至记录代码行号）等等jdk/bin目录下./jmap –dump:format=b,file=[文件名] PID生成文件为二进制文件，无法直接查看，需要借助jvm分析工具。自动生成：1.2自动生成dump文件：-XX:+HeapDumpOnOutOfMemoryError当OutOfMemoryError发生时自动生成 Heap Dump 文件。

2021-07-27 21:19:29 348

原创 linux系统磁盘使用率因空间未释放导致的问题

linux系统磁盘使用率因空间未释放导致的问题####一、使用lsof命令排查执行命令提示没有此命令[root@node2 ~]# lsof-bash: lsof: command not found执行yum install lsof进行安装[root@node2 ~]# yum install lsofTotal download size: 331 kInstalled size: 927 kIs this ok [y/d/N]: y #输入yInstalled:

2021-07-27 20:50:03 188

原创 Sqoop-mysql与hive数据迁移问题

Sqoop-从mysql导数据到hive中数据类型问题一、mysql表中数据类型与hive表中数据类型不匹配1、数字型可以转换数字型或字符型，低精度可转高精度，但不能转为低精度，返回NULL2、字符型不可转换为数值型，返回NULL二、mysql表中字段个数与hive表中字段个数不匹配1、hive表中字段个数少于mysql表，直接丢弃多余的列。2、hive表中字段个数多于mysql表，多余的列，返回NULL三、mysql表中有NULL值1、hive表中返回NULL值四、hive建

2020-08-26 14:20:31 475

原创 Kafka -提交偏移量和优雅的退出程序

Kafka -提交偏移量和优雅的退出程序一、提交偏移量参考文档二、优雅的退出程序参考文档

2020-08-05 21:22:45 307

原创 kafka-面试题

kafka-面试题kafka面试一kafka面试二kafka面试三

2020-08-05 09:30:24 107

原创 CheckPoint-Java开发

CheckPoint-Java开发public final class JavaRecoverableNetworkWordCount { private static final Pattern SPACE = Pattern.compile(" "); private static JavaStreamingContext createContext(String ip, int port

2020-08-03 14:05:46 260

原创 slf4j日志输出

slf4j日志输出 int anInt = 10; Logger logger = LoggerFactory.getLogger(Test.class); logger.debug("返回的结果为：[{}]",anInt);//无输出 logger.info("返回的结果为：{}",anInt); logger.error("返回的结果为：{}",anInt); logger.warn("返回的结果为：{}",anInt);

2020-07-31 09:58:41 586

原创获取指定长度的字符串（数字或字母）

获取指定长度的字符串（数字或字母） /** * 获取含义大小写字母和数字指定长度的字符串 * @param length * @return */ public static String getCharAndNumr(int length) { String val = ""; Random random = new Random(); for(int i = 0; i < length; i

2020-07-31 09:57:05 815

原创 Switch语句与Break、Return之间的联系和区别

Switch语句与Break、Return之间的联系和区别一、Switch语句与Breakint n = 5;switch(n){ case 1: System.out.println(1);break; case 2: System.out.println(2);break; case 3: System.out.println(3);//case语句具有穿透性，当n=3时，会输出3和4 case 4: System.out.println(4);break; default: Syste

2020-07-31 09:46:45 1310

原创 idea-Scala开发pom文件

idea-Scala开发pom文件 <build> <sourceDirectory>src/main/scala</sourceDirectory> <testSourceDirectory>src/test/scala</testSourceDirectory> <plugins>  <plugi

2020-07-25 15:36:18 746

原创 Flume-kafka source和kafka sink

Flume-kafka source和kafka sink一、Flume-kafka sourcea1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource //kafka类型a1.sources.source1.kafka.bootstrap.servers = kafka-1:9093,kafka-2:9093,kafka-3:9093 //kafka集群地址,高可靠性，服务器地址用逗号隔开a1.sources.sou

2020-07-25 10:31:52 954

原创 azkaban-工作流创建

azkaban-工作流创建一、1.0版本创建A.job文件#A.jobtype=commanddependencies=B.job,C.jobcommand.1=echo "hello world"command.2=echo "chengdu"二、2.0版本创建basic.project文件azkaban-flow-version:2.0创建basic.flow文件nodes: - name:jobA type:command config: comand

2020-07-08 13:02:06 201

原创 sqoop-job常用命令

sqoop-job常用命令创建jobsqoop job \--create jobname \-- import \....查询job列表sqoop job --list查看job详细信息sqoop job --show jobname执行jobsqoop job --exec jobname删除jobsqoop job --delete jobname6.解决sqoop需要输入密码的问题<property> <name&

2020-07-08 12:43:41 1224

原创 sqoop使用常见的其他问题

sqoop使用常见的其他问题sqoop使用常见的几个问题

2020-07-02 10:25:02 145

原创 Sqoop连接远程数据库失败，提示：“Host ‘HXRHU55NHPEZSQB‘ is not allowed to connect to this MySQL server“

Sqoop连接远程数据库失败20/07/02 09:40:09 INFO sqoop.Sqoop: Running Sqoop version: 1.4.720/07/02 09:40:09 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.20/07/02 09:40:10 INFO manager.MySQLManager: Prepar

2020-07-02 09:47:50 206

原创 Hadoop问题：start-dfs.sh启动HDFS时，警告：SLF4J: Class path contains multiple SLF4J bindings.

Hadoop问题：start-dfs.sh启动HDFS时，警告：SLF4J: Class path contains multiple SLF4J bindings.[hadoop@node1 ~]$ start-dfs.shSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/opt/bigdata/hadoop-2.7.3/share/hadoop/common/lib/slf4j

2020-05-29 09:42:48 1238

原创 JAVA-保留两位小数

JAVA-保留两位小数一、DecimalFormat方式float f = 2.1358;DecimalFormat df = new DecimalFormat("#.00");//会四舍五入String result = df.format(f);System.out.println(result);//2.14二、String.format方式float f = 2.1358;String format = String.format("%.2f",f);//不会四舍五入Syste

2020-05-28 10:50:38 119

原创 Flume-断点续传taildir

Flume-断点续传taildir一般的flume日志采集方式会出现重复采集的情况，比如：当某个flume应用挂掉后，重启应用，就会将采集过得日志重复采集。解决办法：采用断点续传taildir，记录上一次的采集位置，重启应用后，从记录的位置开始采集。#*********** set agent *************a1.sources=r1a1.channels=c1a1.sinks=k1#********* set sources **********a1.sources.r1.t

2020-05-26 15:26:01 1038

原创 Flume-拦截器interceptors

Flume-拦截器interceptors一、timestamp和hostname拦截器#set agent namea1.sources=r1a1.channels=c1a1.sinks=k1#set channelsa1.channels.c1.type=memorya1.channels.c1.capacity=10000a1.channels.c1.transactionCapacity=1000#set sourcesa1.sources.r1.type=avroa1.

2020-05-25 16:41:24 361

原创 JAVA-程序初始化顺序

JAVA-程序初始化顺序初始化原则：1.静态对象（变量）只初始化一次优先于非静态对象（变量）初始化可初始化多次2.父类优先于子类进行初始化3.按照成员变量的定义顺序进行初始化在任何方法或构造函数被调用之前初始化执行顺序：父类静态变量父类静态代码块子类静态变量子类今天代码块父类非静态变量父类非静态代码块父类构造函数子类非静态变量子类非静态代码块子类构造函数...

2020-05-18 11:18:30 71

原创 Maven-package打包java和scala文件配置

Maven-package打包java和scala文件配置参考资料1、打包java和scala的混合文件时，要将java文件放到java的source Root目录，scala放到scala的source Root下目录结构如下image.pngIDEA的source rootSource root，你可以理解为源目录，源码的作用就是用来专门放 Java 类文件如果不将其设置为Source root 那里面的代码将无法编译2、导入java和scala的编译插件java与sca

2020-05-15 15:04:34 468

原创 Windows算子-使用Java开发

Windows算子-使用Java开发 Logger.getLogger("org").setLevel(Level.WARN); SparkConf conf = new SparkConf(); conf.setMaster("local[2]"); conf.setAppName("windows"); JavaStreamingContext jsc = new JavaStreamingContext(conf, Durations.

2020-05-13 21:54:56 128

原创 Transform算子-使用Java开发

Transform算子-使用Java开发 Logger.getLogger("org").setLevel(Level.WARN); SparkConf conf = new SparkConf(); conf.setMaster("local[2]").setAppName("WordBlock"); JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(

2020-05-13 19:44:42 262

原创 Exception in thread "JobGenerator" java.lang.NoClassDefFoundError: org/apache/hadoop/crypto/key/KeyP

Exception in thread “JobGenerator” java.lang.NoClassDefFoundError: org/apache/hadoop/crypto/key/KeyProviderException in thread “JobGenerator” java.lang.NoClassDefFoundError: org/apache/hadoop/crypto/key/KeyProviderat org.apache.hadoop.hdfs.DistributedFil

2020-05-11 13:35:01 452

原创 Error connecting to localhost:9999 - java.net.ConnectException: Connection refused: connect

Error connecting to localhost:9999 - java.net.ConnectException: Connection refused: connect20/05/11 13:25:54 ERROR ReceiverTracker: Deregistered receiver for stream 0: Restarting receiver with delay 2000ms: Error connecting to localhost:9999 - java.net.Co

2020-05-11 13:28:10 2872 2

python核心编程练习题（第二章）答案

python核心编程练习题（第一章）答案

空空如也