- 博客(68)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 大数据常用端口及服务启动命令
大数据常用端口&服务启动命令，启动hadoop、yarn、zookeeper、hbase、hive、saprk、hase、kafka等等...
2022-02-19 16:15:22
2154
原创 Hive调优及参数优化（详细版）
Hive调优及参数优化，涵盖：基础配置优化、压缩配置优化、分桶优化、Map Join、Bucket-Map Join、SMB Join、Hive并行操作、Hive索引、数据清洗转换优化、统计分析优化、Hive优化器等等......
2022-02-18 13:32:12
13025
原创 Git Windows版的安装与使用（保姆级教程，附案例）
git安装与使用的保姆级教程，图文齐全，一步一步教，小白看了都说好 ~，安装、使用、创建仓库、同步代码、检查代码、创建分支、合并主分支等等...
2022-02-18 00:56:07
30446
2
原创 虚拟机设置时间同步
虚拟机设置时间同步，第一步：先关闭运行中的虚拟机，第二步：右键虚拟机列表，点击“设置”，第三步：点击浮窗顶部选项卡中的“选项”，第四步：在列表中，点击VMare Tools，然后在右侧勾选“将客户机时间与主机同步”，第五步：点击浮窗下方的“确定”，大功告成！
2022-02-18 00:55:07
13637
1
原创 编写sqoop的自动shell脚本完成对hive中ods层的增量数据导入
编写sqoop的自动shell脚本完成对hive中ods层的增量数据导入
2022-02-17 15:24:02
931
原创 导入数据到hive表中，$CONDITIONS的作用（附案例）
如果你想通过并行方式导入结果，每个map task都会执行sql的副本，结果会根据sqoop 推测的边界进行分区。query必须包含$CONDITIONS，这样每个sqoop程序都会被替换成一个独立的条件。同时你必须指定 --split -by 分区。
2022-02-17 15:12:16
800
原创 Hive表插入数据前的优化，分区优化、分桶优化、数据倾斜优化、并行优化等等...
Hive表插入数据前的优化，分区优化、分桶优化、数据倾斜优化、并行优化等等...
2022-02-17 14:32:44
519
原创 Hive表中文乱码问题
Hive表中文乱码问题，第一步：在MySQL中修改，因为MySQL记录维护着元数据，第二步：在 Hive 的 conf 配置文件中的 hive-site.xml 里添加以下内容
2022-02-17 14:22:38
1735
原创 Hive的存储方式和压缩方式，textfile、orc、parquet、snappy、zlib 等等...
Hive的存储方式和压缩方式，textfile、orc、parquet、snappy、zlib 等等...
2022-02-17 12:43:44
1938
原创 Hive开窗函数over()的使用（附案例）
Hive开窗函数over()的使用（附案例），开窗结合sum函数使用，开窗时限定窗口行区间，开窗后获取组内的TOPN，分析函数之 Lag 取前几个，分析函数之 lead 取后几个，分析函数之 first_val 第一个值，分析函数之 last_val 最后一个值，等等...
2022-02-17 12:24:28
685
转载 Hive侧视图 Lateral View（单个、多个、outer）（附案例）
Hive侧视图 Lateral View（单个、多个、outer）（附案例）
2022-02-17 01:17:27
5407
1
原创 插入Hive表数据用 hdfs dfs -put 和 load data 方式，把hdfs里的文件映射成Hive表（附案例）
hdfs dfs -put 方式（Linux终端上操作，实现hive表映射文件）。load data 方式（SQL上操作，实现文件插入hive表）。
2022-02-17 00:01:36
3823
原创 Hive时间函数的使用，时间戳与日期之间的转换，获取时间，获取季度等...
Hive时间函数的使用，时间戳与日期之间的转换，获取时间，获取季度等...
2022-02-16 17:55:31
4938
原创 大数据思维导图锦集（原创吐血整理，不定期更新）
大数据思维导图锦集，个人原创吐血整理，有助于初学者整理思路与消化知识，知识点涵盖了：数仓理论、Hadoop、Mysql、Hive、Spark、Flink、HBase、Linux 等知识点。后续还会不断新增思维导图，记得收藏喔~
2022-01-26 21:27:23
10312
4
开仓风险计算器.xlsx（可计算：名义价值、最大资金亏损、开仓所需保证金、开仓资金杠杆、最小逐仓保证金等...）
2022-08-17
某香港大神的程式化交易干货分享
2022-02-17
flinkSQL创建kafka源表，解析ogg-json失败
2022-08-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人