- 博客(12)
- 收藏
- 关注
RSS订阅转载 什么是大数据的ETL
什么是大数据的ETL1、ETL的定义ETL分别是“Extract”、“Transform”、“Load”三个单词的首字母缩写也就是“抽取”、“转换”、“装载”，但我们日常往往简称其为数据抽取。ETL是BI/DW（商务智能/数据仓库）的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。ETL包含了三方面：“抽取”：将数据从各种原始的业务系统中读取出来，这是所有工作的前提。“转换”：按照预先设计好的规则将抽取得..
2021-04-27 10:38:04
1515
原创 本地网络适配器里找不到虚拟机VMnet8
打开VMware1.找到编辑,打开虚拟网络编辑器 2.找到选项VMnet8,点击还原默认配置3.此时本地网络适配器里就会有VMnet8了
2021-04-21 13:59:43
7106
1
原创 idea访问tomcat报错404
这是我遇到的tomcat其中一个报错解决方案1.在idea中打开tomcat2.找到Deployment选项3.找到本地安装tomcat的地址,找到webapps中的ROOT4.点击确定,一路确定就好了
2021-04-21 12:09:21
373
原创 VMware虚拟机网络配置
VMware网络配置:1.打开VMware2.找到选项VMnet83.点击NAT设置,点击确定然后应用4.找到本机的适配器,点击修改适配器5.找到VMware Network Adapter VMnet8右键点开属性6.选中第四个选项,点击属性7.配置ip，网关如下:8.配置完成后,一路确定就行了...
2021-04-21 11:57:09
324
原创 用户画像介绍_概念
用户画像介绍(UserProfile) -也叫用户信息标签化，客户标签 -从电商的角度看，根据你在电商网站上所填的信息和你的行为，可以用一些标签把你描绘出来,描述你的标签就是用户画像 构建用户画像技术 1.用收集到的数据(网络日志数据,用户行为数据,网络交易数据)做为源数据 ...
2021-04-20 20:16:36
409
2
转载 SparkCore中DAG介绍
DAG，全称 Directed Acyclic Graph， 中文为：有向无环图。在 Spark 中， 使用 DAG 来描述我们的计算逻辑。什么是DAG?DAG 是一组顶点和边的组合。顶点代表了 RDD， 边代表了对 RDD 的一系列操作。DAG Scheduler 会根据 RDD 的 transformation 动作，将 DAG 分为不同的 stage，每个 stage 中分为多个 task，这些 task 可以并行运行。DAG 解决了什么问题?DAG 的出现主要是为了解决 H
2020-12-12 16:57:04
340
转载 Spark RDD 常用算子总结
Transformation：转换算子1、Map map 的输入变换函数应用于 RDD 中所有元素，而 mapPartition 应用于所有分区。区别于 mapPartitions 应用于所有分区。区别于 mapPartions 主要在于调用粒度不同。如 parallelize（1 to 10， 3），map 函 数执行 10 次，而mapPartitions 函数执行 3 次。2、Filter（function）过滤操作，满足 filter 内函数为 true 的 RDD 内所有元素组成一个新的数据
2020-12-12 16:33:41
621
原创 高可用集群两个NameNode都是standby
192.168.152.31:8485: Call From node1/192.168.152.31 to node1:8485 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 192.168.152.33:8485: Call From node1/192.168....
2020-09-18 16:05:44
382
原创 IO简介
IO编程IO在计算机中指Input/Output，也就是输入和输出。由于程序和运行时数据是在内存中驻留，由CPU这个超快的计算核心来执行，涉及到数据交换的地方，通常是磁盘、网络等，就需要IO接口。比如你打开浏览器，访问新浪首页，浏览器这个程序就需要通过网络IO获取新浪的网页。浏览器首先会发送数据给新浪服务器，告诉它我想要首页的HTML，这个动作是往外发数据，叫Output，随后新浪服务器把网页发过来，这个动作是从外面接收数据，叫Input。所以，通常，程序完成IO操作会有Input和Output两个
2020-08-25 19:49:38
266
原创 Linux基本命令
Linux3.linux命令整理帮助命令：man：是Linux下的帮助指令，通过man指令可以查看Linux中的指令帮助、配置文件帮助等等help：该命令是bash内建命令，用于显示bash内建命令的帮助信息linux中如何判断是不是shell内置命令？判断方法是用which来查看命令，如果没有路径就是shell内置命令。常用快捷键ctrl + c 停止进程ctrl+l 清屏reset 彻底清屏ctrl + q 退出善于用tab键 提示，补全(更重要的是可以防止敲错)上下键 查找执
2020-08-09 20:59:03
203
原创 Linux登录后有时候会出现-bash-4.1$
linux登录后有时候会出现-bash-4.1$造成这样的原因：与这个用户有关环境变量没了，有关的文件被删除。也就是用户的家目录下面 .bash_profile .bashrc 被删除。解决办法：##首先切换到故障用户su - test##复制对应的文件（不要用root直接复制，否则复制过去的东西属主，数组都是root的）-bash-4.1$ cp /etc/skel/.bash ~* ##(/etc/skel 新用户老家的样子，所以从这里复制)-bash-4.1$ ls -latot
2020-08-08 17:30:33
189
1
原创 虚拟机(CentOS)安装
CentOS安装1．检查BIOS虚拟化支持，如图1-16所示2．新建虚拟机，如图1-17所示3．新建虚拟机向导，如图1-18所示4．创建虚拟空白光盘，如图1-19所示5．安装Linux系统对应的CentOS版，如图1-20所示6．虚拟机命名和定位磁盘位置，如图1-21所示7．处理器配置，看自己是否是双核、多核，如图1-22所示8．设置内存为2GB，如图1-23所示9．网络设置NAT10．选择IO控制器类型，如图1-24所示11．选择磁盘类型，如图1-25所示12．新建虚拟磁盘，如图1
2020-08-08 17:16:55
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人