Hadoop||Spark
令狐公子
开朗活泼自信进取
展开
-
Hadoop(一)基础知识记录
本文主要介绍Hadoop基本知识,对Hadoop做一个简单的学习介绍,记录点滴,与大家一起分享,共同进步;O(∩_∩)O~核心组成: HDFS分布式文件系统,存储海量数据 MapReduce并行处理框架,实现任务分解和调度低成本 高扩展性 Hive 将sql语句转化为任务执行Hbase 提供数据的随机读写和实时访问安装环境Ubuntu centOS都可以安装JDKUnitedStack配置云主机原创 2018-05-18 21:28:58 · 240 阅读 · 0 评论 -
Hive_SQL(四)
CREATE TABLE pi_cust_item_recommend8( > ADVISE_ID VARCHAR(30), > CUST_CODE VARCHAR(30), > CGT_CODE VARCHAR(30), > CRT_DATE VARCHAR(8), > NOTICE VARCHAR(3), >...原创 2018-08-01 22:58:45 · 1432 阅读 · 0 评论 -
Spark大数据分析——pyspark(三)
Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /__ / .__/\_,_/_/ /_/\_\ version 2.1.0 /_/>>> from pyspark.sql import HiveContext&...原创 2018-05-12 14:08:41 · 1238 阅读 · 0 评论 -
Spark大数据分析——pyspark(一)
Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /__ / .__/\_,_/_/ /_/\_\ version 2.1.0 /_/SparkSession available as 'spark'>>> li...原创 2018-04-03 15:33:05 · 3352 阅读 · 0 评论 -
Spark大数据分析——pyspark(二)
Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /__ / .__/\_,_/_/ /_/\_\ version 2.1.0 /_/>>> rdd=sc.parallelize({('panda',0),('pin...原创 2018-04-03 15:51:57 · 985 阅读 · 0 评论 -
Hive问题
Last login: Fri Jan 19 16:33:16 2018 from 10.115.27.2[root@bjycbd-agent-23 ~]# cd etc/security/keytabs-bash: cd: etc/security/keytabs: No such file or directory[root@bjycbd-agent-23 ~]# pwd/ro原创 2018-05-11 21:29:03 · 220 阅读 · 0 评论 -
Hive_SQL(三)
hive> SELECT pi_cust_item_recommend2.cust_id, pi_cust_item_recommend2.item_id, pi_cust_item_recommend2.advise_level,pi_cust_item_recommend3.cust_code FROM pi_cust_item_recommend2, pi_cust_item_rec...原创 2018-08-01 22:25:04 · 1827 阅读 · 0 评论 -
Hive_SQL(二)
hive> create table pi_cust_item_recommend2( > cust_id string, > item_id bigint, > advise_level double > ) > partitioned by( > ymday string) > ;O...原创 2018-08-01 22:03:36 · 1166 阅读 · 0 评论 -
Spark-Hive
1、表:Hive中的表和关系型数据库中的表在概念上很类似,每个表在HDFS中都有相应的目录用来存储表的数据,这个目录可以通过${HIVE_HOME}/conf/hive-site.xml配置文件中的 hive.metastore.warehouse.dir属性来配置,这个属性默认的值是/user/hive/warehouse(这个目录在 HDFS上),我们可以根据实际的情况来修改这个配置。如果我有...原创 2019-02-18 11:42:41 · 576 阅读 · 0 评论 -
Hive_SQL(一)
Last login: Tue Aug 29 09:11:12 2017 from 10.72.37.75[root@bdddev-agent-205 ~]# su hive[hive@bdddev-agent-205 root]$ cd[hive@bdddev-agent-205 ~]$ hive2017-08-30 08:56:44,327 WARN [main] conf.Hiv...原创 2018-08-01 21:05:49 · 845 阅读 · 0 评论