- 博客(90)
- 资源 (44)
- 收藏
- 关注
RSS订阅原创 docker搭建cdh
注：虚拟机单机版centos7保证可以使用1、部署docker添加链接描述2、docker拉取cdh镜像添加链接描述3、docker启动命令：#启动命令docker run --name cdh --hostname=quickstart.cloudera --privileged=true -t -i -p 8020:8020 -p 8022:8022 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:5001
2021-01-19 11:11:58
760
原创 hdfs权限问题
当hdfs的所有权限不属于root时：#解决权限问题方案一：vim /etc/profile#增加内容（创建该所有者）export HADOOP_USER_NAME=hdfs#使用该所有者更改权限su hdfs如：hdfs dfs chmod +w /user/spark方案二：<property> <name>dfs.permissions.enabled</name> <value>false</value>
2021-01-19 10:38:01
473
原创 shell脚本读取clikhouse表数据到mysql
shell脚本读取clikhouse表数据到mysql注意：其中数据库地址表名字账号密码需要改正自己的，包括sql逻辑等#!/bin/bash echo "start..."#this is ck changliangckhost="localhost"ckport="9191"ckreadSql="SELECT * FROM tb_table limit 1,1"clickhouse-client --host ${ckhost} --port ${ckport} --mu
2021-01-05 11:57:16
796
原创 spark和hadoop兼容性问题
sparkAPI在idea中运行没有问题打包到spark on yarn集群就不好使有可能是xml中的问题 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_${scala.binary.version}</artifactId> <version>${spark.v
2020-12-17 17:24:08
1250
原创 jar打包配置文件和lib分离
jar包配置文件和lib分离 <!-- 打JAR包 --> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-jar-plugin</artifactId> <configuration>
2020-12-07 14:10:40
277
原创 读取jar包外部conf的配置
本地打包到linux上面，读取外部conf的配置文件（如logj）//获取当前路径 CodeSource codeSource = this.getClass().getProtectionDomain().getCodeSource(); File jarFile = new File(codeSource.getLocation().toURI().getPath()); String jarDir = jarFile.getParentFile()
2020-12-04 18:43:47
796
原创 大数据开发实习二-----------------入职篇
百分点有限公司实习小序：离开上个东家（亚信科技），收到了两家offer（昇科能源，百分点），我选择了百分点第一个月：初次报道我感到很欣慰，带我的老大非常友好，他是我心中觉得比较优秀的人（技术好，有耐心，做事风格极好），是一个很好的导师，如约而至的参加了大数据开发，这一周我深刻的认识到自己技术方面的不足，在学校的时候对于计算方面还感觉自我良好，但是来到公司开发线上，深刻的认识到有好多自己不懂的规则（主要是技术方面的规则），我和老大约好了一个周内完成任务，但是我遇到了好多棘手的问题，让我止步不前，，，，
2020-11-29 13:53:52
594
11
原创 mysql配置-------mysql错误：Row size too large (＞ 8126).
写入表数据到mysql时出现错误mysql错误：Row size too large (> 8126).相关配置参数：max_allowed_packet: 服务器发送和接受的最大包长度，当单行数据较大时，需要调整该参数。innodb_log_file_size: **（一般插入表字段过多，修改这个）**该参数确定数据日志文件的大小，更大的设置可以提高性能，但也会增加恢复故障数据库所需的时间。innodb_log_buffer_size: 该参数确定日志文件所用的内存大小，设置时用M单位进行
2020-11-27 14:17:34
3582
原创 java知识体系
https://blog.csdn.net/ThinkWon/article/details/103592572?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160378562019724835852727%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=160378562019724835852727&b
2020-10-27 16:02:23
146
原创 面试汇总
面试汇总https://wadestack.github.io/BigDataIE/#/?id=%e5%a4%a7%e6%95%b0%e6%8d%ae%e9%9d%a2%e7%bb%8f
2020-10-23 17:12:07
132
原创 shell脚本练习题
shell脚本练习题https://blog.csdn.net/yugemengjing/article/details/82469785
2020-10-20 11:08:40
155
原创 大数据开发实习生--------------------入职篇
我去了亚信科技入职，完美的实现了我一直想去的地方（中关村软件园），亚信科技的总部就在这，在这个园区，每年有千亿元的产值，在这个园区我一路参观了，网易云、浪潮、百度、腾讯、亚信等等，满怀期待的我走进了亚信大厦，不得不说这里的hr长得很好看，但是走到我的工位，发现周围全是大老爷们，看着他们头发我当时害怕急了。。。。。。。。。第一周：2020-09-28日我办理的入职，合同上写的是30号开始上班，所以我办完入职我就回到六环开外的住处，30号我去上班，我的大数据老大去河北出差了让我先去找另外一个老大学习java
2020-10-11 13:32:34
7597
39
原创 插入排序------------java数据结构和算法
插入排序插入排序（Insertion sort）是一种简单直观且稳定的排序算法。插入排序的工作方式非常像人们排序一手扑克牌一样。开始时，我们的左手为空并且桌子上的牌面朝下。然后，我们每次从桌子上拿走一张牌并将它插入左手中正确的位置。为了找到一张牌的正确位置，我们从右到左将它与已在手中的每张牌进行比较，如下图所示：需求：排序前：{4,3,2,10,12,1,5,6}排序后：{1,2,3,4,5,6,10,12}排序原理：1.把所有的元素分为两组，已经排序的和未排序的；2.找到未排序的组中的第一个元素，
2020-10-06 20:35:04
111
原创 选择排序-------------java数据结构和算法
排序原理：1.每一次遍历的过程中，都假定第一个索引处的元素是最小值，和其他索引处的值依次进行比较，如果当前索引处的值大于其他某个索引处的值，则假定其他某个索引出的值为最小值，最后可以找到最小值所在的索引2.交换第一个索引处和最小值所在的索引处的值直接选择排序（即：一边比较一边交换）public class XZSum1 { public static void main(String[] args) { int[] a = {2,5,1,7,4,3,6};
2020-10-06 19:59:01
112
原创 冒泡算法-------------java数据结构和算法
冒泡排序原理比较相邻的元素。如果前一个元素比后一个元素大，就交换这两个元素的位置。对每一对相邻元素做同样的工作，从开始第一对元素到结尾的最后一对元素。最终最后位置的元素就是最大值。冒泡排序API设计：冒泡排序的代码实现：//排序代码publicclassBubble{/对数组a中的元素进行排序/publicstaticvoidsort(Comparable[]a){123456北京市昌平区建材城西路金燕龙办公楼一层 电话：400-618-9090代码实现public class MPSu
2020-10-06 19:47:50
172
原创 大数据开发 -------------实习面试经历
1.面试实习岗位9月11日我们学校是校企合作，我真心觉得不喜欢，在大学学了三年，自己也经常在工作室奋斗，然后就到了大四，准备实习阶段，来了一个号称中关村单位的老师，来负责我们的实习岗位，我们班想做开发的人很多，但是她基本上只推测试和运维，有点不喜欢，但是我还是在阶梯教室，完美的听了那个老师说了一天，她总喜欢把我们当小孩子，和我们聊一些买衣服啊，买房啊，买车啊，怎么做一个成功的人啊…9月12日我做了一个决定，我实习也要做大数据开发绝不妥协，然后我下载了boss直聘，牛客网，拉钩网，猎聘，前程无忧，智能
2020-09-20 08:46:05
1854
3
原创 centos安装mysql客户端和服务器
1.安装包准备1.0查看 mysql 是否安装，如果安装了，卸载 mysql查看：[root@hadoop102 桌面]# rpm -qa|grep mysql mysql-libs-5.1.73-7.el6.x86_64 卸载：[root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64 2.解压mysql-libs.zip到当前目录[root@hadoop102 software]# unzip mysql-li
2020-09-10 08:42:30
333
原创 mysql的七种join图文
mysql七种joinhttps://blog.csdn.net/weixin_41827162/article/details/87871882?utm_source=app
2020-09-02 10:20:36
198
原创 centos用户环境变量ssh模式
0）ssh有两种模式登录模式ssh，采用用户名比如（xiaoming）登陆，就会加载/etc/profile非登录模式shell，采用ssh hdp-01登录，就不会自动加载/etc/profile，会加载~/.bashrc非登录：需要以下步骤1）修改/etc/profile文件：用来设置系统环境参数，比如$PATH. 这里面的环境变量是对系统内所有用户生效。使用bash命令，需要source /etc/profile一下。2）修改~/.bashrc文件：针对某一个特定的用户，环境变量的设置
2020-08-20 10:15:26
533
原创 centos同步windows时间
centos同步windows时间1.编辑vi /etc/sysconfig/clockZONE="Asia/Shanghai"UTC=false #设置为false，硬件时钟不于utc时间一致ARC=falseln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #linux的时区设置为上海ntpdate asia.pool.ntp.org #对准时间，需要先安
2020-08-17 15:05:43
688
原创 hadoop的高可用部署
搭建步骤1.检查阶段 1.1. 检查环境是否安装了JDK、Zookeeper、Hadoop。 1.2. 检查Hosts文件是否做了IP和主机名的映射关系 1.3. 检查免密登录是否完成，测试三台服务器之间是否可以免密登录。 1.4. 检查主机是否修改了主机名。2.部署阶段2.1修改hadoop的配置文件(一定要注意路径的问题)2.1.1 vim hadoop-env.shexport JAVA_HOME=/home/software/jdk1.8.0_131export HADOOP
2020-08-10 21:16:19
232
原创 flume--的安装部署
1.flume–的安装部署1）将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录下2）解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下[kmu@kmmaster software]$ tar -zxf apache-flume-1.7.0-bin.tar.gz -C /opt/module/3）修改apache-flume-1.7.0-bin的名称为flume[kmu@kmmaster mod
2020-06-20 14:28:42
162
原创 flume实时抓取案例---exec
1.flume实时抓取案列—execag1.sources = source1ag1.sinks = sink1ag1.channels = channel1ag1.sources.source1.type = execag1.sources.source1.command = tail -F /root/log/access.logag1.sinks.sink1.type = hdfsag1.sinks.sink1.hdfs.path =hdfs://kmmaster:8020/acce
2020-06-20 14:03:04
498
原创 flume的文件跟踪配置 文件夹-----hdfs
1.创建配置文件vim dir-hdfs.conf#spooldir：flume中自带的读取目录的source，只要出现新文件就会被读走#定义三大组件的名称ag1.sources = source1ag1.sinks = sink1ag1.channels = channel1# 配置source组件ag1.sources.source1.type = spooldirag1.sources.source1.spoolDir =/root/log/ag1.sources.source
2020-06-20 11:03:07
331
原创 zookeeper安装部署
zookeeper安装部署1.0官网下载安装包zk官网1.1安装部署zookeeper1.1.0解压到指定目录[ys@hdp-101 conf]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/1.1.1修改配置文件[ys@hdp-101 conf]$ cp zoo_sample.cfg zoo.cfg1.1.2打开zoo.cfg更改datadir路径dataDir=/opt/module/zookeeper-3.4.10/zkDat
2020-06-01 10:00:15
143
spark案例之--------------高铁需求.zip
2020-09-10
hive案例之-----------用户分析及答案.rar
2020-09-10
代码生成模仿浏览网站的数据.zip
2020-03-31
Process.zip
2020-02-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人