![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
BigData
大数据相关知识积累
happy9021
梦入江南烟水路,行尽江南,不与离人遇。
展开
-
spark 任务添加外部依赖包
1. spark 任务添加外部依赖包```txt依赖包放这个目录下 spark on yarn:/opt/spark/spark-2.1.1-bin-hadoop2.6/jarsmkdir -p /opt/external_jarsln -s /opt/external_jars /opt/spark/spark-2.1.1-bin-hadoop2.6/jars/external_jars具体操作如下:(1)新建目录mkdir -p /opt/external_jars(2)上传原创 2021-08-19 15:07:29 · 956 阅读 · 0 评论 -
Hadoop 基础
Hadoop 基础1.Yarn 概念原创 2021-05-19 21:27:53 · 50 阅读 · 0 评论 -
DataX3.0 小知识
DataX3.0 小知识还在为同步过程对在线存储压力影响而担心吗?新版本DataX3.0提供了包括通道(并发)、记录流、字节流三种流控模式,可以随意控制你的作业速度,让你的作业在库可以承受的范围内达到最佳的同步速度。"speed": { "channel": 8, ----并发数限速(根据自己CPU合理控制并发数) "byte": 524288, ----字节流限速(根据自己的磁盘和网络合理控制字节数) "record": 10000 ----记录流限速(根据数据合理空行数原创 2020-06-11 14:55:18 · 290 阅读 · 0 评论 -
花落知多少
花落知多少1. Apache1.1 Apache AccumuloApache Accumulo 是一个可靠的、可伸缩的、高性能的排序分布式的 Key-Value 存储解决方案,基于单元访问控制以及可定制的服务器端处理。使用 Google BigTable 设计思路,基于 Apache Hadoop、Zookeeper 和 Thrift 构建。Apache Accumulo的是一个高度可扩展的结构化存储,基于谷歌的BigTable。Accumulo是用Java编写的,并在Hadoop分布式文件系统原创 2020-05-24 17:35:31 · 185 阅读 · 1 评论 -
Ubuntu 域名映射
Ubuntu 域名映射修改主机名将主机名分别设置为hadoop01、hadoop02、hadoop03(1)输入命令:vim /etc/sysconfig/network (编辑网络配置文件) 将主机名修改为:hadoop01输入密令:i (进入编辑模式)编辑完成后按esc键退出编辑模式进入命令模式在按shift键 + : 键 (进入末行模式)输入命令:wq (保存退出)(2)设置虚拟机和主机的域名映射输入命令:vim /etc/hosts...原创 2020-05-19 15:23:15 · 1471 阅读 · 0 评论 -
idea之flink
flink之idea篇目录flink之idea篇(1)明智一在idea等开发工具中运行代码的时候,需要把依赖配置项中的scope属性注释掉.在编译打jar包的时候,需要开启scope属性,这样最终的jar包就不会把这些依赖包也含进去,因为集群本身是有Flink的相关依赖的....原创 2020-02-25 16:05:33 · 266 阅读 · 0 评论 -
scala机器学习
(1)模型分析线性回归模型 GBT模型 随机森林模型 小型训练数据集,精度不高 一次训练一棵树,减少了树的偏差 并行训练多棵树,不太容易过拟合,减少了树的方差;调整随机森林更容易. (2)电信客户流失分析预测 DT(决策树) DT是一种监督学习,可以用来解决分类和回归问题. ...原创 2020-01-04 16:35:28 · 295 阅读 · 0 评论 -
Flink入门
大数据计算引擎:MapReduce-Tez-Spark-Flink原创 2020-03-02 22:53:44 · 281 阅读 · 0 评论 -
druid使用
### 1.各大组件SELECT page, COUNT(*) AS EditsFROM wikipediaWHERE TIMESTAMP '2015-09-12 00:00:00' <= "__time" AND "__time" < TIMESTAMP '2015-09-13 00:00:00'GROUP BY pageORDER BY Edits DESCLI...原创 2019-10-10 17:19:30 · 249 阅读 · 0 评论