![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
流浮影
这个作者很懒,什么都没留下…
展开
-
Spark官网补缺之SparkStreaming
Spark官网补缺之SparkStreaming版本2.3.4 官网网址:http://spark.apache.org/docs/2.3.4/streaming-programming-guide.html文章目录Spark官网补缺之SparkStreaming1.开篇简介1.1隐式转换1.2创建StreamingContext1.3pow依赖1.4一些注意点1.5DStreams1.6输入...原创 2019-12-25 19:09:25 · 693 阅读 · 0 评论 -
Spark官网补缺
Spark官网补缺(2.3.4) RDD SparkSql文章目录Spark官网补缺(2.3.4) RDD SparkSql1.RDD1.1文件格式1.2 shell操作1.3 惰性加载1.4 缓存(持久化)1.5shuffle有排序吗? sorted blocks.1.6调优策略之序列化1.7调优策略之内存调优1.8调优的其他配置2.Spark Sql2.1.1全局临时视图2.2.1spark...原创 2019-12-04 19:56:34 · 503 阅读 · 0 评论 -
kylin遇见的错误
kylin遇见的错误0.普通问题0.1java.net.ConnectException: Call From MyDis/192.168.182.86 to MyDis:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: htt...原创 2019-12-03 18:59:17 · 1365 阅读 · 3 评论 -
scala(三)
scala第五章文件操作import java.io.PrintWriterimport scala.io.Sourceobject FileDemo extends App {// //读取文件行// val source =Source.fromFile("src/file.txt")// //获取文件行迭代器// val lines = source.getLin...原创 2019-11-02 21:37:30 · 159 阅读 · 0 评论 -
spark本地提交集群运行踩过的坑
spark本地提交集群运行踩过的坑1.本地提交,集群跑spark程序设置(scala) val conf = new SparkConf().setAppName("SparkWordCount") conf.setMaster("spark://hadoop-01:7077") conf.setJars(Array("D:\\hadoop\\spark\\target\\zb...原创 2019-11-02 21:21:41 · 2675 阅读 · 1 评论 -
hbase的安装
hbase的安装单机节点安装解压[root@centos1 home]# tar -zxvf hbase-1.2.1-bin.tar.gz -C /usr/local/配置环境变量export HBASE_HOME=/usr/local/hbase-1.2.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_H...原创 2019-10-24 19:01:49 · 201 阅读 · 0 评论 -
HBase的API
HBase的apiwal的机制 WAL(Write-Ahead-Log)SKIP_WAL:不写wal日志,这种可以较大提高写入的性能,但是会存在数据丢失的危险,只有在大批量写入的时候才使用(出错了可以重新运行),其他情况不建议使用。ASYNC_WAL:异步写入SYNC_WAL:同步写入wal日志文件,保证数据写入了DataNode节点。FSYNC_WAL: 目前不支持了,表现是与SYNC...原创 2019-10-23 19:14:31 · 184 阅读 · 0 评论 -
hbase shell
hbase shell命名空间注意点:我是用的1.2.11版本的hbase,所以退格键是往后删除,和平时使用习惯不太一样,ctrl+退格是往前删1. list_namespace:查询所有命名空间hbase(main):008:0> list_namespaceNAMESPACEdefaulthbase2. list_namespace_tables : 查询指定命名空间的...原创 2019-10-23 17:29:17 · 138 阅读 · 0 评论 -
hbase概念
hbase来源:解决随机近实时的高效的读写解决非结构化的数据存储1. hbase是一个开源的、分布式的、多版本的、可扩展的、非关系型的数据库。2. hbase是big table的开源的java版本,建立在hdfs基础之上,提供高可靠性、高性能的、列式存储、可伸缩、近实时读写的nosql的数据库系统3. 数据量越来越大,传统的关系型数据库不能满足存储和查询的需求。而hive虽然能够...原创 2019-10-21 19:27:35 · 378 阅读 · 0 评论 -
azkaban多个executor部署
azkaban多个executor部署多executor部署介绍Azkaban3.0+版本提供了三种安装模式:单solo-server mode:单机模式,适合开发使用。使用内置的h2数据库,web server和executor server在同一个进程里; two server mode:双机模式,适合生产环境。使用主从的MySQL做元数据存储,web server和 executor...原创 2019-09-25 21:19:32 · 1852 阅读 · 0 评论 -
azkaban安装Solo Server
azkaban安装 Solo Serverazkaban 3.57.0 编译1、下载源码包 官网地址为:https://github.com/azkaban/azkaban/archive/3.57.0.tar.gz清空编译结果如下:[root@hadoop01 home]# tar -zxvf /home/azkaban-3.57.0.tar.gz -C /usr/local[roo...原创 2019-09-25 20:53:58 · 875 阅读 · 2 评论 -
DATAX日常踩坑
DATAX日常踩坑2019-09-22 17:14:49.482 [job-0] ERROR RetryUtil - Exception when calling callable, 异常Msg:Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).]. - ...原创 2019-09-22 17:21:27 · 15733 阅读 · 0 评论 -
转角遇见DataX
转角遇见DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。阿里datax网址(本文摘自阿里datax介绍):https://github.com...原创 2019-09-22 15:23:54 · 859 阅读 · 0 评论 -
sqoop导入的一些问题
sqoop导入的一些问题以下为sqoop语句有问题,一定注意语句后的 \ 。 \前要空格,\后不要空格--null-non-string 0 \--null-string '123' \原数据如果为null的话,会被替换‘成 ’的内容版本1.4.7这种模式使用lastmodifyed 可以使用merge-key覆盖。(路径为hive表路径)因为1.4.7不支持lastmod...原创 2019-09-21 17:05:33 · 178 阅读 · 0 评论 -
hive的补充
hive的补充hive的分隔符hive默认的列与列之间的分隔符是:\001,注意不是tab通常分隔符:tab," "|\n\001 ^A (\u0001,注意不是\0001也不是\01)\002 ^B\003 ^Cposeexplode:hive的文件存储格式:hive默认的数据文件存储格式为:textfiletextfile:普通的文本文件存储,不压缩。占用空间,...原创 2019-09-21 14:39:41 · 247 阅读 · 0 评论 -
hive的数据倾斜
hive的数据倾斜数据倾斜:由于key分布不均匀造成的数据向一个方向偏离的现象本身数据就倾斜:join语句容易造成count(distinct col)很容易造成倾斜group by 也可能造成注意hive的倾斜join key在reduce端的分配不均匀倾斜现象:卡在某一个reduce任务。解决方法:1.找到造成倾斜的key,然后再通过hql语句避免(查看日志是哪个tas...原创 2019-09-21 14:36:16 · 115 阅读 · 0 评论 -
hive调优
hive调优1、环境方面:服务器的配置、容器的配置、环境搭建2、具体软件配置参数:3、代码级别的优化:执行计划explain 和 explain extended :explain select * from text1;explain extended select * from text1;explain extendedselectd.deptno as deptno...原创 2019-09-21 14:19:01 · 176 阅读 · 0 评论 -
hadoop的组件hdfs
分布式文件系统HDFSHDFS架构HDFS工作机制HDFS概念HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。HDFS的设计适合一次写入,多次读出的场景,且不支持文件的修改。适合用来做数据分析,并不适合用来做网盘应用。HDFS优缺点优点:1)高容错性:数据自动保存多个副本,当一个副本丢失...原创 2019-09-20 15:48:35 · 253 阅读 · 0 评论 -
hadoop的checkpoint
hadoop的checkpointSecondaryNameNode通过定时 查询 namenode上的edit logs 来保证 fsimage的及时更新 时刻复制 active的Namenode工作节点的快照 。合并namenode 的 edit log 合并到 fsimage上1.定时获取active状态的namenode节点的 edit logs 并更新 到 fsimage [S...原创 2019-09-20 15:55:26 · 584 阅读 · 0 评论 -
hadoop的组件yarn
hadoop的组件yarnYARN分布式资源管理框架:hadoop1.0hadoop2.0Scheduler :调度器(容量调度,公平调度。FIFO)container:资源容器(抽象概念)ApplicationsManager(job-submissions)negotion the frist container for executing the applicatio...原创 2019-09-20 16:06:20 · 686 阅读 · 0 评论 -
yarn的Scheduler
yarn的Scheduler调度器先进先出调度hadoop1.x使用的默认调度器就是FIFO。FIFO采用队列方式将一个一个job任务按照时间先后顺序进行服务。比如排在最前面的job需要若干maptask和若干reducetask,当发现有空闲的服务器节点就分配给这个job,直到job执行完毕。公平调度公平调度器按资源池(pool)来组织作业,并把资源公平的分到这些资源池里。默认情...原创 2019-09-20 16:09:05 · 234 阅读 · 0 评论 -
hadoop的组件mr
mr整体流程maptask调用FileInputFormat的createRecordReader(底层lineRecordReader)读取分片数据每行数据读取一次,返回一个(K,V)对,K是offset,V是一行数据将k-v对交给maptask处理每对k-v调用一次map(K,V,context)方法,然后context.write(k,v)写出的数据交给收集器OutputCo...原创 2019-09-20 16:14:53 · 330 阅读 · 0 评论 -
浅谈hive
浅谈hivehive2.5.1 Hive是什么###2.5.1.1 为什么有HiveHive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。数据量大,处理的效率比较低mapreduce学习成本比较高类sql的用法,工作效率高入门比较简单2.5.1.2 Hive是什么hive是一个数据仓库。hive是一个基于hadoop的数据仓库...原创 2019-09-20 16:22:49 · 202 阅读 · 0 评论 -
Hive的安装部署
Hive的安装部署hive1.2.1Hive常用的安装分三种(注意:Hive会自动监测Hadoop的环境变量,如有就必须启动Hadoop)本地模式(多用户模式):使用hive自带默认元数据库derby来进行存储,通常用于测试优点:使用简单,不用进行配置缺点:只支持单session。安装步骤:1、解压hive,并配置环境变量vi /etc/profilesource /etc/...原创 2019-09-20 16:26:39 · 95 阅读 · 0 评论 -
hive基础语法一
hive基础语法一set $属性(变量);with tmp as();select from( select a.id id, a.name name from test left join test1 b on .... join ... where group by having order b...原创 2019-09-20 16:32:11 · 231 阅读 · 0 评论 -
hive基础语法二
hive语句二分区表概念分区意义:避免全表扫描,从而提高查询效率;默认使用全表扫描。使用什么样的分区:日期、区域、能将数据分散开来分区技术:[PARTITIONED BY (COLUMNNAME COLUMNTYPE [COMMENT 'COLUMN COMMENT'],...)]1.hive的分区名区分大小写2.hive的分区字段是一个伪字段,但是可以用来进行操作3.一个表可...原创 2019-09-20 16:37:50 · 1125 阅读 · 0 评论 -
hive基础语法三
hive基础语法三from --map阶段join --map(有map端join)或者reduce(reduce join)onwhere --map端group by --reduce阶段having --reduce端select --reduce端(或者map端)order by --reduce端limit --reduce端(或者map端)基础数据类型...原创 2019-09-20 16:43:41 · 445 阅读 · 0 评论 -
从mysql的存储过程到hive的存储过程
mysql的存储过程在mysql中的声明字段:使用关键字:declare普通类型申明格式如下:Decalare 字段名 字段类型(位数) [default 默认值];如:declare name varchar(45) default ‘’;在mysql中的赋值:使用关键字:set如: Set i =100;在mysql中判断常用的是if...end if 、if...e...原创 2019-09-20 17:06:02 · 749 阅读 · 0 评论 -
sqoop
遇见sqoop版本:sqoop 1.4.7hadoop 2.7.7hive 2.3.6sqoopsqoop的–helpusage: sqoop COMMAND [ARGS]Available commands: codegen Generate code to interact with database records create-hive-ta...原创 2019-09-21 10:55:45 · 215 阅读 · 0 评论 -
Hive2
Hive2.3.6安装TEZ0.9.0前提环境hadoop 我的是2.7.1hive 我的是2.3.6Tez环境准备下载Tez的安装包解压 下载路径解压tez的jar包(我的是0.9.0)进去Tez安装目录下的conf目录[root@hadoop001 conf]# vi tez-site.xml<?xml version="1.0" encoding="UTF-...原创 2019-09-20 14:25:20 · 198 阅读 · 0 评论