大数据
striverpan
这个作者很懒,什么都没留下…
展开
-
hbase学习
package com.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescrip原创 2016-09-29 16:44:49 · 244 阅读 · 0 评论 -
hive学习
1.初始化 derby数据库schematool -initSchema -dbType derby原创 2016-11-07 14:41:02 · 251 阅读 · 0 评论 -
Scala学习
//1.定义函数 def max(x:Int,y:Int)=if(x>y) x else y;//2.if while语句 var i=0; while (i 10 ){ i = i+1; print(i); if(i==10){ println(); } }//3.for,foreach遍历 var array = Array(原创 2016-10-11 10:42:31 · 205 阅读 · 0 评论 -
spark学习1
1.算子的分类大致可以分为三大类算子。 1)Value数据类型的Transformation算子,这种变换并不触发提交 作业,针对处理的数据项是Value型的数据。 2)Key-Value数据类型的Transfromation算子,这种变换并不触发 提交作业,针对处理的数据项是Key-Value型的数据对。 3)Action算子,这类算子会触发SparkContext提交Job作业。1.1原创 2017-01-23 14:32:37 · 276 阅读 · 0 评论 -
sql
sql是基本功 复杂的sql还是需要时间学习sql很常用 能完成很多工作 #select * FROM store_information#SELECT DISTINCT * FROM store_information#where 查询#SELECT * from store_information where sales > 1000;#多条件查询#SELECT * from sto原创 2017-06-06 10:40:42 · 234 阅读 · 0 评论 -
hive数据迁移 导表
!/bin/bashhive -e “use ana_crmpicture;show tables;” > tables.txt sleep 3 cat tables.txt |while read eachline do hive -e “show create table ana_crmpicture.$eachline” >>tablesDDL.txt done原创 2017-06-26 20:34:07 · 759 阅读 · 0 评论 -
自定义 UDF
1.hive自定义UDF原创 2017-09-12 15:09:08 · 334 阅读 · 0 评论 -
KafKa
一 启动kafka 1.启动zookeeper D:\kafka_2.10-0.10.2.0\bin\windows>zookeeper-server-start.bat D:\kafka_2.10.10.2.0\config\zookeeper.properties 2.启动serverD:\kafka_2.10-0.10.2.0\bin\windows>kafka-serve原创 2017-09-12 15:06:17 · 236 阅读 · 0 评论