- 博客(15)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 CREATE TXT
CREATE EXTERNAL TABLE IF NOT EXISTS ericsson_rvs_txt(record_date TIMESTAMP,vin STRING,Model_Code STRING,service STRING,header struct<requestid: STRING,time_stamp: TIMESTAMP,eventId: STRING,...
2019-04-30 10:25:08
270
原创 Spark Sql Read Parquet Files; Number of Partitions.
hive metastore 和 parquet 转化的方式通过 spark.sql.hive.convertMetastoreParquet 控制，默认为 true。如果设置为 true ，会使用 org.apache.spark.sql.execution.FileSourceScanExec ，否则会使用 org.apache.spark.sql.hive.execution.HiveTa...
2019-04-18 10:18:31
484
1
原创 top N hive sql
insert into table vin_geo_summaryselect vin,province,city from(select vin,province,cityname as city,sub.c,rank() over (partition by vin order by sub.c desc) as rfrom(select vin,province,cityname,...
2019-04-11 19:06:07
243
转载 spark性能优化 ----分区相关
本文参考了：https://www.jianshu.com/p/4b7d07e754fa有以下几个参数：spark.default.parallelism：（默认的并发数）在yarn模式下，spark.default.parallelism = max（所有executor使用的core总数， 2）。举个例子：spark-submit --class geo --master yarn...
2019-03-26 14:34:02
451
原创 查看hive job的log
mapred job -history JOB_ID如：mapred job -history job_1551943436571_0044JOB_ID可在yarn UI中查看到。
2019-03-07 18:19:05
1958
原创 对一个字段连续explode hive
SELECT vin, record_date, Latitude,Longitude,dia.ecuid,dtcFROM vehicle_dtc_array_parquetLATERAL VIEW explode(diagnostics) diaTable AS diaLATERAL VIEW explode(dia.dtcs) diaTable AS dtc;
2019-03-07 16:10:36
390
原创 spark shell hive sql
import org.apache.spark.sql.hive.HiveContextval hiveContext = new HiveContext(sc)hiveContext.sql(“select * from …”)
2019-03-07 10:24:38
99
原创 explode hive
select a.dia.ecuid from (select explode(body.serviceData.vehiclestatus.temstatus.diagnostics) as dia from vehicle_dtc_array where body.serviceData.vehiclestatus.temstatus.diagnostics is not null limi...
2019-03-06 19:22:51
97
原创 sprk sbmit
spark-submit --class TempDistri --master yarn --deploy-mode cluster --executor-memory 2G --num-executors 3 /root/IdeaProjects/temp_map_peoject/out/artifacts/temp_distri_jar/temp_map_peoject.jar
2019-03-04 14:22:05
178
原创 Hive持久添加jars CDH6.1
配置Hive Auxiliary JARs Directory，路径为Hive metastore的主机文件夹路径。Actions中选择Deploy Client Configurationrestart hive
2019-02-25 14:48:07
451
原创 Ubuntu安装Unetbootin iso制作工具
sudo add-apt-repository ppa:gezakovacs/ppasudo apt-get updatesudo apt-get install unetbootin
2019-02-15 12:24:28
1740
2
原创 配置支持Spark操作Hive表数据，使用Intellij
spark2版本使用SparkSession作为统一入口，所以第一步就是给SparkSession增加Hive支持： enableHiveSupport（）val spark = SparkSession .builder() .appName("Spark Hive Example").master("local[*]") .enableHiveSuppor...
2019-01-15 14:28:53
831
原创 在阿里云服务器上搭建TensorFlow集群
在阿里云服务器上搭建TensorFlow集群首先安装Python其次安装Anaconda最后安装Tensorflowscpscp root@hadoop001:~/Anaconda3-4.4.0-Linux-x86_64.sh ~/scp root@hadoop001:/usr/Python-3.6.0.tgz /usrsudo mkdir /usr/python3下载 Pytho...
2018-12-29 19:07:44
1557
vgg16_weights_tf_dim_ordering_tf_kernels_notop.h5!!! KERAS
2019-04-18
DEEP LEARNING WITH PYTHON KERAS
2019-04-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人