- 博客(15)
- 资源 (1)
- 收藏
- 关注
原创 kafka+zookeeper安装
kafkakafka是用于构建实时数据管道和流应用程序。具有横向扩展,容错,wicked fast(变态快)等优点,并已在成千上万家公司运行。 简单说明什么是kafkaApache kafka是消息中间件的一种,我发现很多人不知道消息中间件是什么,在开始学习之前,我这边就先简单的解释一下什么是消息中间件,只是粗略的讲解,目前kafka已经可以做更多的事情。举个例子,生产者消费者,生产
2017-10-20 10:58:47 600
原创 创建screen
1.创建一个screen,screen -S [screen name] 我认为-S是start的意思,这样就好记忆了。 2.查看你创建的screen,screen -ls 3.运行你要运行的东西,比如 sh sreen.sh 4.control + a + d 退出当前screen,但 sreen.sh 这个脚本已在运行。 注意,control + a + d三个键同时按。
2017-05-23 11:10:08 5947
原创 psql计算环比和同比
\c dw; –连接到数据库drop table if exists stg.d_mars_rate_hb_1 ;create table if not exists stg.d_mars_rate_hb_1( category_1 TEXT, date DATE, quantity numeric(30,16) );insert into stg.d_mars_rate_hb_
2017-04-17 14:23:05 4315
原创 psql获取当前时间和自增长id
1.now() 返回结果:2017-04-13 18:26:36.0234 2. create_time 返回结果:2017-04-13 18:26:36.0234前提是在创建表的时候把date字段设置为:timestamp without time zone格式 eg: CREATE TABLE ods.mars_create_subplan ( id serial
2017-04-14 14:29:38 917
转载 DataFrame和RDD的区别
上图直观地体现了DataFrame和RDD的区别。左侧的RDD[Person]虽然以Person为类型参数,但Spark框架本身不了解Person类的内部结构。而右侧的DataFrame却提供了详细的结构信息,使得Spark SQL可以清楚地知道该数据集中包含哪些列,每列的名称和类型各是什么。DataFrame多了数据的结构信息,即schema。RDD是分布式的Java对象的集合。DataFrame
2017-04-10 14:14:47 1692
原创 emacs的简单使用
emacs的简单使用启动开发环境:ctrl+c alt+j切窗口:ctrl+x接着按o加载整个文件:ctrl+c ctrl+k取消:ctrl+g运行一段代码:ctrl+x ctrl+e保存退出:ctrl+x+s ctrl+x+c删除一行:ctrl+k撤销:ctrl+shift+_查询:ctrl+s注释:#_<- 创建查询:>输出?<-执行查询:定义
2017-03-17 10:28:09 552
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人