jm88621的博客

原因：导入日期数据为0000-00-00 00:00:00时造成的Error: java.io.IOException: SQLException in nextKeyValue at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277) at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapT

查看当前磁盘情况可以看到只有一个500g的磁盘，但是实际分配了2T的硬盘root@cdh4:/etc/apt# df -hFilesystem Size Used Avail Use% Mounted on.../dev/sda1 477G 7.3G 445G 2% /...查看物理磁盘情况可以看到实际磁盘有2T，主分区只用了500Groot@cdh4:~# fdisk -l...Disk /dev/sda: 2 TiB, 2199023255552

同步数据脚本#!/bin/bashrsync -vae "ssh -o StrictHostKeyChecking=no" --exclude "*.gz" root@xxx.xxx.xx.xx:/root/log/access.log-* /root/cmooc_log/说明将IP=xxx.xxx.xx.xx的主机上的/root/log/access.log-*文件同步到本机的/root/cmooc_log/路径下但是去除.gz后缀的文件，代码如下：--exclude "*.gz"

1 脚本内容#!/bin/bash ids=`ps -ef | grep "xxx-1.0-SNAPSHOT.jar" | grep -v "grep" | awk '{print $2}'`echo "当前服务id:" $idsfor id in $idsdo kill -9 $id echo "killed $id" donesleep 5scd /xxx/xxxecho "开始启动新进程..."nohup java -jar -Xms8192m -X

目录1 创建用户组sftp2 创建用户3 设置密码4 创建并修改sftp根目录owner为root5 设置sshd_config6 在ChrootDirectory 下创建owner为sftpuser的子目录（重点！！！）7 重启sshd服务8 测试sftp服务9 搞定！有问题请留言！1 创建用户组sftp(base) [root@localhost ~]# groupadd sftp2 创建用户useradd参数说明-g 加入到sftp组-s 禁止登录-d 指定sftp用户的登入目录(b

添加sqoop服务打开cluster添加服务选择sqoop2，然后一路继续即可4. 安装完成后查看服务配置mysql驱动下载mysql驱动到cdh的jars路径下mysql驱动下载地址root@cdh1:/opt/cloudera/parcels/CDH/jars# ll mysql-connector-java-5.1.49-bin.jar -rw-r--r-- 1 root root 1006906 1月 21 09:17 mysql-connector-java-

cdh配置hive.exec.dynamic.partition.mode看图说话，我是用的server2，所以根据自己情况配置

下载安装文件1 下载文件点击 cdh安装包地址下载与你的系统以及cdh版本相匹配的包，例如我的cdh版本是5.14.2，系统是ubuntu，我下载三个文件如图所示：2 上传文件将文件上传到parcel-repo路径下，如图3 配置cloudera manager检查新Parcel->分配->激活查看lzo的jar包位置/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/修改yarn的mapreduce.application

原因网站被攻击灌入广告1 nginx配置https先从/etc/nginx/nginx.conf文件中查找.conf的存放路径。然后查看server的具体配置文件/etc/nginx/conf.d/xxx.conf提前准备好证书文件.crt和.key，然后在xxx.conf中添加443端口的相关配置server{ listen 80; server_name xxx.xxx.xxx.cn; return 301 https://$host$request_uri

报错java.io.FileNotFoundException: /opt/flume-position/log_position.json (Permission denied)解决提前创建目录root@cdh7:/opt# mkdir flume-posoiton创建json文件root@cdh7:/opt/flume-position# touch log_position.json赋权限root@cdh7:/opt/flume-position# chmod 777 log

目录导出数据库设置定时导出同步数据文件导出数据库创建shell脚本root@cdh4:~/dataBak# vi backupdata.sh脚本内容如下backupdir=/root/dataBak/mydb# 时间time=_` date +%Y_%m_%d_%H_%M_%S `# 需要备份的数据库名称db_name=mydb# 导出数据库，数据文件后缀为当前日期/usr/bin/mysqldump $db_name | gzip > $backupdir/$db_nam

fighting零零散散做了好多事，都忘记总结一下了，现在开始慢慢把自己做的事情记录起来，fighting！

目录phpspreadsheet资料安装phpspreadsheet导出excel工程结构数据格式表头变量调用方法phpspreadsheet资料PhpSpreadsheet’s documentation: link.安装phpspreadsheet在项目根目录下安装运行// An highlighted blockcomposer require phpoffice/phpspreadsheet安装完成后生成vendor目录，如下图所示：导出excel工程结构数据格式$lis

第一步，首先勾选poll第二步，在创建consumer时必须设置group_id，否则manager监测不到def consume(topic): # 必须设置group_id，否则kafka manager监测不到 consumer = KafkaConsumer(topic, bootstrap_servers=s...