- 博客(5)
- 收藏
- 关注
RSS订阅原创 Flume增量采集mysql数据库数据到HDFS、Kafka
软件版本号 jdk1.8、apache-flume-1.6.0-bin、kafka_2.8.0-0.8.0、zookeeper-3.4.5需要向apache-flume-1.6.0-bin/lib 放入两个jar包flume-ng-sql-source-1.3.7.jar -->flume的mysql source 下载地址: https://github.com/keedio/...
2018-07-26 17:20:48
4775
15
原创 Sqoop Mysql导入到HDFS
导入test数据库sqoop表到指定目录参数：--target-dir /directory1例：sqoop import --connect jdbc:mysql://node1:3306/test --username root --table sqoop --m 1 --target-dir /sqoop/1导入表子集参数：--where <condition>1例如：sqoop...
2018-07-13 11:06:24
780
转载 IDEA搭建SpringBoot工程(离线)
SpringBoot的具体介绍可以参看其他网上介绍，这里就不多说了，就这几天的学习，个人理解，简而言之： （1）它是Spring的升级版，Spring容器能做到的事情，它都能做到，而且更简便，从配置形式上来说，SpringBoot完全抛弃了繁琐的XML文件配置方式，而是替代性地用注解方式来实现，虽然本质来说，是差不多的（类似包扫描，注解扫描，类加载之类）。 （2）SpringBoot集成的插件更多...
2018-07-12 15:24:56
23540
5
原创 tomcat运行war包，生成的文件中文乱码
两个项目之前在ide（环境都是utf8）当中互发请求的时候，验签都是通过的，但是打成war包运行后，就会报验签不通过，各种检查后，那就只有编码问题，收到的数据因为编码问题变掉了，指定下jvm的编码1、在tomcat目录下的conf文件夹下，打开server.xml在<Connector port="8080" ... > 中添加 URIEncoding="UTF-8" 。 2、在t...
2018-07-06 15:05:56
3412
原创 kafka 0.10发送、接收大消息解决办法
配置三个地方： Broker: message.max.bytes and replica.fetch.max.bytes Producer: max.request.size Consumer: max.partition.fetch.bytes注意： message.max.bytes必须小于等于replica.fetch.max.bytes...
2018-07-02 15:15:21
1894
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人