2019年06月_Hellooorld

11月 09月 08月 07月 06月 04月 01月

转载 volatile详解(内存模型->并发编程->java内存模型->引出volatile含义)

https://www.cnblogs.com/dolphin0520/p/3920373.html

2019-06-28 15:17:16 138

原创 WebSocket简单入门,js连接服务器代码实现(清晰)

一、为什么需要 WebSocket？初次接触 WebSocket 的人，都会问同样的问题：我们已经有了 HTTP 协议，为什么还需要另一个协议？它能带来什么好处？答案很简单，因为 HTTP 协议有一个缺陷：通信只能由客户端发起。举例来说，我们想了解今天的天气，只能是客户端向服务器发出请求，服务器返回查询结果。HTTP 协议做不到服务器主动向客户端推送信息。这种单向请求的特点，注定了如果服...

2019-06-27 11:22:20 6610

转载 Presto中的名词解释

presto服务进程presto集群中一共有两种服务器进程：coordinator服务进程和worker服务进程，其中coordinator服务进程的主要作用是：接收查询请求、解析查询语句、生成查询执行计划、任务调度和worker管理。而worker服务进程则执行被分解后的查询执行任务：taskcoordinatorcoordinator服务进程部署于集群中一个单独的节点上，是整个prest...

2019-06-24 09:43:45 711

转载 Maven3种打包方式之一maven-assembly-plugin的使用

在Maven中，主要有3个插件可以用来打包：maven-jar-plugin，默认的打包插件，用来打普通的project JAR包；maven-shade-plugin，用来打可执行JAR包，也就是所谓的fat JAR包；maven-assembly-plugin，支持自定义的打包结构，也可以定制依赖项等。我们日常使用的以maven-assembly-plugin为最多，因为大数据项目...

2019-06-23 18:22:20 81058

原创 Presto行转列列转行

hive中表结构如下: CREATE TABLE hive.default.t1 ( day integer, days integer ) 查看数据presto:default> select * from t1; day | days -----+------ 1 | 1 ...

2019-06-17 14:16:08 10142

原创 CDH5.8.0安装（centos6.5）超详细

基本配置Hadoop3台节点master 192.168.244.145slave1 192.168.244.146slave2 192.168.244.1471.关闭防火墙打开文件selinux：vi /etc/sysconfig/selinux修改SELINUX属性值修改如下：SELINUX=disabledchkconfig iptables offreboot查...

2019-06-16 20:52:44 587

转载数据立方体

总体介绍首先模拟一个数据分析场景，某企业积累了如下表格所示的销售数据：产品销售数据表表格中每一行表示某个时间段内某种商品在某个地区的销售情况。很明显，这些数据涉及到了时间、地区、产品三个业务角度。在对这样的数据进行分析时，不同的角色都会基于自己所感兴趣的业务角度提出问题销售经理关心各个地区的销售情况，希望找出销售增长率在平均水平之下的地区产品总监则希望了解近期内各种产品的销量对...

2019-06-13 16:50:59 2510

转载 Presto优化

https://blog.csdn.net/FreeFishLy/article/details/79081764很详细写的

2019-06-13 16:49:20 348

原创 Hive存储格式跟压缩对比(各种技术都在这里)

存储:1 TextFile2 SequenceFile3 RCFile4 OrcFile5 Parquet6 Avro6种性能测试textfile默认格式；存储方式为行存储；磁盘开销大数据解析开销大；但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。SequenceFile二进制文件,以<key,va...

2019-06-01 13:46:39 2389

azkaban新版本压缩包.txt

azkaban使用的时候就都需要编译，而在编译过程中会出现多多少少的问题，网络连接失败导致的下载jar依赖最长出现，这里是个连接（永久有效），通过百度云连接下载，解压即可使用 window /linux 2套版本版本是：azkaban3.78.0

2019-09-11

大霸王学习机

bin/sqoop import \ --connect jdbc:mysql://es3:3306/ks \ --username root \ --password 123456 \ --target-dir /user/kaoshi \ --delete-target-dir \ --num-mappers 1 \ --fields-terminated-by "\t"

2018-12-22