![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
呼和浩特-大数据-白胖子
励志成为内蒙大数据第一人
展开
-
java中多线程-守护模式-解析
java中多线程,守护模式zookeeper中监听事件就是守护模式守护模式:主线程死了,子线程也跟着结束非守护模式:主线程死了,子线程继续public class TreadDemoGw {public static void main(String[] args) { System.out.println("主线程开始启动...."); Thread thread = ne...原创 2019-02-21 15:34:29 · 213 阅读 · 0 评论 -
HBase原理以及个人理解
HBase个人理解a.HBASE是一个分布式-数据库,可以提供数据的实时随机读写。b.HBASE是一个no-sql的数据库,需要用java来控制c.HBASE底层把数据都转换成byte类型进程存储,读取和写入都需要进行转换d.HBASE存储fangs,表里面row-id主键,列簇-collection集合-存放k-y:key-value的(cell-存储单元),底层存储还是k-y形式。...原创 2019-03-02 22:10:12 · 176 阅读 · 0 评论 -
FLUME的2种配置
FLUME主要用的两种配置方法:1:spooldir - 用来一取某个文件夹下的所有日志。不断生成日志2:exec - 用来一取一个文件夹下的追加日志。eg-log4j打印日志到aaa.log最后一行启动命令:bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -n a1spooldir 的配置#定义三大组件的名称ag1.s...原创 2019-03-05 23:12:55 · 157 阅读 · 0 评论 -
HBASE命令行常用代码常用代码
集群启停集群启动 bin/start-hbase.sh单独启动master bin/hbase-daemon.sh start master增删改查进入命令行 bin/hbase shell显示表 list建表 create ...原创 2019-03-03 22:06:35 · 115 阅读 · 0 评论 -
HBase的java客户端2个实例java类
DDL实例类package cn.edu360.hbase.demo;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apa...原创 2019-03-06 21:54:27 · 106 阅读 · 0 评论 -
大数据技术扫盲,你必须会的这些点
原博主禁止转载,只能存连接了https://blog.csdn.net/m0_37803704/article/details/87885817原创 2019-03-04 16:47:53 · 124 阅读 · 0 评论 -
HIVE常用窗口分析函数-oracle也可同理
hive 窗口分析函数0: jdbc:hive2://localhost:10000> select * from t_access;±---------------±--------------------------------±----------------------±-------------±-+| t_access.ip | t_access.u...原创 2019-03-14 20:29:02 · 125 阅读 · 0 评论 -
sqoop之个人理解
sqoop就是一个jdbc与MapReduce之间的桥梁,同时把他们封装起来了。底层就是MapReduce+jdbc的代码,让数据在他们之间互传。我们仅通过安装配置,然后简单的敲命令就可以完成数据互通(导入、导出)。下面是官方的一个简述qoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HI...原创 2019-03-14 22:55:16 · 159 阅读 · 0 评论 -
hadoop项目实战-app后台日志数据统计系统
整体架构和数据处理流程如下图:本周末准备将其作为项目实战进行练习原创 2019-03-07 21:49:40 · 693 阅读 · 0 评论 -
sqoop实战练习
安装,不必多说,上次服务器,解压即可操作数据库需导入支持jar包,eg:本次操作mysql,把mysql的jar包放到lib文件夹中测试sqoop与mysql是否互通测试数据库连接测试数据库连接 bin/sqoop list-databases --connect jdbc:mysql://hdp20-04:3306/app --username root --password root...原创 2019-03-16 20:47:11 · 361 阅读 · 0 评论 -
sqoop错误ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for
今日练习sqoop时,遇到如下错误ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user '经过百度后发现解决办法如下Warning: /usr/local/sqoop/…/hcatalog does not exist! HCatalog jobs...转载 2019-03-16 20:49:20 · 7862 阅读 · 0 评论 -
sqoop常用命令
测试数据库连接bin/sqoop list-databases --connect jdbc:mysql://hdp20-04:3306/app --username root --password rootsqoop create-hive-table --connect jdbc:mysql://hdp20-04:3306/app --table uv_info --username...原创 2019-03-16 20:50:08 · 354 阅读 · 0 评论 -
sqoop中的2个大坑,注意避免
字符集必须统一--注意:将库和表的编码集改成utf8,命令如下:修改库的编码:mysql> alter database db_name character set utf8;修改表的编码:mysql> ALTER TABLE table_name CONVERT TO CHARACTER SET utf8 COLLATE utf8_general_ci; sqoo...原创 2019-03-16 20:53:38 · 999 阅读 · 0 评论 -
FLUME启动报错ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirect
昨晚做项目,一切正常,今天重新执行,报错如下[ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:256)] FATAL: Spool Directory source source1: { spoolDir: /home/hdp01/a...原创 2019-03-12 20:32:26 · 3517 阅读 · 0 评论 -
今晚继续做app项目,FLUME报错java.lang.OutOfMemoryError: GC overhead limit exceeded
经百度,发现原因:进入flume bin目录下,修改flume-ng文件,如下图:红框的地方默认是20m,可以根据自己服务器内存大小设置,我这里设置的是10240m(也就是10个g)原文地址:https://blog.csdn.net/yybk426/article/details/80409173...原创 2019-03-12 22:48:16 · 432 阅读 · 0 评论 -
FLUME工作原理
简单的说,flume就是一个采集框架,程序员通过配置配置文件,即可实现从hdfs的集群采集其他地方的数据,例如:mysql、hbase、log、json等。原创 2019-03-02 21:35:53 · 1013 阅读 · 0 评论 -
ZooKeeper本地虚拟机集群搭建
从zookeeper官方下载zookeeper安装包https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/压缩版上次到集群服务器hdp01并解压进入conf目录,复制zoo_sample.cfg多一份zoo.cfg,并修改zoo.cfg配置文件添加dataDir路径(默认在/temp下(权限问题))添加zookeep服...原创 2019-02-20 23:07:59 · 192 阅读 · 0 评论 -
hadoop原理示意图
原创 2019-02-20 20:23:59 · 267 阅读 · 0 评论 -
liunx下:zookeeper客户端常用行命令
zookeeper/bin/zkCli.sh 进入命令行zookeeper进入客户端后create /aa hello --增delete /aa 博主好帅 --删set /aa --改get /aa --查help --帮助原创 2019-02-21 22:21:41 · 87 阅读 · 0 评论 -
ZooKeeper简单案例-客户端请求,服务器响应
程序思路逻辑:A.服务器代码:(可多线程同时上线多台服务器)主函数1.连接zookeeper2.注册服务器3.开始提供业务(无论请求是什么,都返回当前时间)B.服务逻辑代码-实现-无论请求是什么,都返回当前时间C.客户端主函数1.new一个自己的对象(客户端)2.构造zk连接对象3.查询在线服务器列表4.处理业务(向一台服务器发送时间查询请求)服务器代码package...原创 2019-02-21 22:27:21 · 386 阅读 · 0 评论 -
hadoop中HA集群搭建示意图
原创 2019-02-21 23:07:24 · 151 阅读 · 0 评论 -
hive基础语法示例
create table t_a(name string,numb int)row format delimitedfields terminated by ‘,’;create table t_b(name string,nick string)row format delimitedfields terminated by ‘,’;load data local inpath ‘/...原创 2019-02-27 20:38:22 · 239 阅读 · 0 评论 -
hadoop2.6.4-ha集群搭建案例
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA注意:apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译(建议第一次安装用32位的系统,我将编译好的6...原创 2019-02-23 13:26:56 · 206 阅读 · 0 评论 -
Hive的学习心得-个人理解什么是hive
hive约等于sql+java→可以为所欲为的插入、查询读取数据。hql约等于sql主语法+java部分语法(array,map,stuct,字符类型、contacts等)hql约等于oracle里面的sqlshell约等于oracle中的存储过程+job定时任务(同样定时执行)自定义函数约等于用java写oralce里面的自定义函数...原创 2019-02-27 23:25:24 · 3067 阅读 · 0 评论 -
centos7挂载本地yum源
/etc/yum.repos.d 进度yum配置目录rename .repo .repo.bak * -rename .repo .repo.bak * 备份原理的配置文件cp CentOS-Media.repo.bak CentOS-Media.repo copy一份文件准备修改vi CentOS-Media.repo修改配置a文件挂载目录:/mnt/cdro...原创 2019-02-24 16:17:57 · 2386 阅读 · 0 评论 -
cenos7.4下安装mysql
参考帖子https://blog.csdn.net/zxy987872674/article/details/81949430原创 2019-02-24 21:02:51 · 84 阅读 · 0 评论 -
HBase集群搭建
安装zookeeper集群(之前已安装好)安装hbasea.上次压缩包-解压缩b.修改配置文件修改hbase-env.shexport JAVA_HOME=/root/apps/jdk1.7.0_67 export HBASE_MANAGES_ZK=false修改hbase-site.xml<configuration> <!-- 指定hbase在HDFS上存储...原创 2019-02-28 22:08:43 · 70 阅读 · 0 评论 -
启动zookeeper报错:Error contacting service. It is probably not running
几天不用zookeeper,重启集群报错Error contacting service. It is probably not running检查集群后发现是myid被删除导致,重新创建/zkdata/myid 重启zookeeper,系统恢复正常。...原创 2019-02-28 23:17:03 · 148 阅读 · 0 评论 -
FLUME原理
FLUME是一个分布式采集组件通过简单的,安装,配置,即可实现夸平台采集数据FLUME采集主要分三部分:读数据(source)、缓存数据(channel)、写数据(sink)...原创 2019-03-04 22:19:10 · 211 阅读 · 0 评论 -
hive安装&hive后台启动&beeline客户端
hive安装a.上传压缩版,解压b.vi conf/hive-site.xml-配置元数据库配置-注意只需要修改localhost即可<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localho...原创 2019-02-25 23:20:27 · 1073 阅读 · 0 评论 -
String&StringBuilder&StringBuffer区别
String&amp;amp;StringBuilder&amp;amp;StringBuffer区别欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章U...原创 2019-02-20 16:37:25 · 133 阅读 · 0 评论 -
MapReduce原理
原创 2019-02-20 20:20:30 · 89 阅读 · 0 评论 -
FLUME导入数据到HDFS,HIVE建立外部表-载入外部表数据
FLUME采集数据到apps_log/clean/2019-03-12目录下HIVE创建外部表CREATE EXTERNAL TABLE ods_app_log ( sdk_ver string ,time_zone string ,commit_id string ... ) partitioned BY (day string ,os strin...原创 2019-03-12 23:45:28 · 663 阅读 · 0 评论