docker搭建cdh 注：虚拟机单机版centos7保证可以使用1、部署docker添加链接描述2、docker拉取cdh镜像添加链接描述3、docker启动命令：#启动命令docker run --name cdh --hostname=quickstart.cloudera --privileged=true -t -i -p 8020:8020 -p 8022:8022 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:5001
hdfs权限问题 当hdfs的所有权限不属于root时：#解决权限问题方案一：vim /etc/profile#增加内容（创建该所有者）export HADOOP_USER_NAME=hdfs#使用该所有者更改权限su hdfs如：hdfs dfs chmod +w /user/spark方案二：<property> <name>dfs.permissions.enabled</name> <value>false</value>
shell脚本读取clikhouse表数据到mysql shell脚本读取clikhouse表数据到mysql注意：其中数据库地址表名字账号密码需要改正自己的，包括sql逻辑等#!/bin/bash echo "start..."#this is ck changliangckhost="localhost"ckport="9191"ckreadSql="SELECT * FROM tb_table limit 1,1"clickhouse-client --host ${ckhost} --port ${ckport} --mu
spark和hadoop兼容性问题 sparkAPI在idea中运行没有问题打包到spark on yarn集群就不好使有可能是xml中的问题 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_${scala.binary.version}</artifactId> <version>${spark.v
jar打包配置文件和lib分离 jar包配置文件和lib分离 <!-- 打JAR包 --> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-jar-plugin</artifactId> <configuration>
读取jar包外部conf的配置 本地打包到linux上面，读取外部conf的配置文件（如logj）//获取当前路径 CodeSource codeSource = this.getClass().getProtectionDomain().getCodeSource(); File jarFile = new File(codeSource.getLocation().toURI().getPath()); String jarDir = jarFile.getParentFile()
大数据开发实习二-----------------入职篇 百分点有限公司实习小序：离开上个东家（亚信科技），收到了两家offer（昇科能源，百分点），我选择了百分点第一个月：初次报道我感到很欣慰，带我的老大非常友好，他是我心中觉得比较优秀的人（技术好，有耐心，做事风格极好），是一个很好的导师，如约而至的参加了大数据开发，这一周我深刻的认识到自己技术方面的不足，在学校的时候对于计算方面还感觉自我良好，但是来到公司开发线上，深刻的认识到有好多自己不懂的规则（主要是技术方面的规则），我和老大约好了一个周内完成任务，但是我遇到了好多棘手的问题，让我止步不前，，，，
mysql配置-------mysql错误：Row size too large (＞ 8126). 写入表数据到mysql时出现错误mysql错误：Row size too large (> 8126).相关配置参数：max_allowed_packet: 服务器发送和接受的最大包长度，当单行数据较大时，需要调整该参数。innodb_log_file_size: **（一般插入表字段过多，修改这个）**该参数确定数据日志文件的大小，更大的设置可以提高性能，但也会增加恢复故障数据库所需的时间。innodb_log_buffer_size: 该参数确定日志文件所用的内存大小，设置时用M单位进行
java知识体系 https://blog.csdn.net/ThinkWon/article/details/103592572?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160378562019724835852727%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=160378562019724835852727&b
关注
