- 博客(5)
- 收藏
- 关注
RSS订阅原创 Spark 处理中文字符乱码问题
今天使用Spark将处理文本数据并写入mysql中时出现了中文字符是乱码的问题。刚开始，所有的中文字符都是**??**,查了很多的文档之后，将mysql的默认字符集修改为utf-8,但是中文仍然是乱码。插入mysql时，连非中文字段也收到了影响：最后的解决方法是：在提交spark任务时，添加命令行参数：–conf spark.executor.extraJavaOptions="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8"数据库显示正常：
2020-06-10 01:06:33
3376
原创 hadoop2.7.7集群配置
hadoop版本：2.7.7配置进入hadoop-2.7.7/etc/hadoop文件夹修改hadoop-env.sh文件、core-site.xml文件、hdfs-site.xml文件、mapred-site.xml文件(原本是一个临时文件需要复制一份)、yarn-site.xml文件// hadoop-env.sh//修改jdk的位置和pid文件的位置export JAVA_HOME...
2020-03-19 01:45:02
890
原创 kafka2.4.0集群配置
kafka版本：2.4.0 scala版本：2.12配置 添加环境变量,每台服务器都需修改# vi /etc/profile 修改配置文件,每台服务器都需修改# vi /usr/local/kafka_2.12-2.4.0/config/server.properties// 修改下方配置// 1 节点值broker.id=1 // 不同机器取值不同，cluster1是...
2020-03-09 23:50:36
696
1
原创 zookeeper3.5.7集群安装
Zookeeper配置zookeeper版本：3.5.7注意下载后缀名带有bin的版本配置zookeeper的环境# vi /etc/profile 添加环境变量,每台服务器都需要 在apache-zookeeper-3.5.7/conf中新建zoo.cfg文件，输入一下有效配置内容。 创建zookeeper的数据存储目录和日志存储目录，并修改文件夹的权限，每台机器都需要...
2020-03-09 21:40:08
896
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人