冰河的专栏

持之以恒,贵在坚持,每天进步一点点。。。

Hadoop之——Flume采集Nginx日志到Hive的事务表

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/97975539 注意:笔者这里使用的各软件版本为:Hadoop 3.2.0、Flume 1.9.0、Hive 2.3.5、Nginx 1.17.2。 简单流程示意图如下: ...

2019-07-31 23:25:02

阅读数 38

评论数 0

Flume之——配置案例

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/97934236 监听telnet 44444端口 myagent.sources = r1 myagent.sinks = k1 myagent.channels = c1 #...

2019-07-31 17:02:54

阅读数 90

评论数 0

Hadoop之——通过distcp并行复制

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/97814582 distcp是一个分布式复制程序,改程序可以从Hadoop文件系统间复制大量数据,也可以将大量的数据复制到Hadoop中 distcp的典型应用是在两个HDFS...

2019-07-30 20:28:51

阅读数 26

评论数 0

SVN之——安装SVN服务

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/97171953 Windows下安装 到链接https://www.visualsvn.com/server/download/ 下载安装包安装即可。 Linux下安装 1...

2019-07-24 21:43:29

阅读数 38

评论数 0

Sqoop之——Sqoop连接数据库报错(找不到org/apache/commons/lang/StringUtils)

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/97135322 问题: Sqoop连接数据库报错,报错信息为: Exception in thread "main" java.lang.NoClass...

2019-07-24 15:33:49

阅读数 60

评论数 0

SpringMVC之——Filter需要配置多个url-pattern

最近做项目遇到一个Filter需要配置多个url-pattern,上网查了下资料,经测试,现总结下 filter-mapping元素位于web.xml文件中filter元素之后serlvet元素之前。它包含如下三个可能的子元素。filter-name 这个必需的元素必须与用filter元素声明时...

2019-07-24 10:12:19

阅读数 40

评论数 0

Hive之——防止数据被误删除

1、HDFS层面开启trash功能(fs.trash.interval) 被删除的数据在HDFS中的/user/$USER/.Trash目录中,开启这个功能秩序要将配置属性fs.trash.interval得知你设置成为合理的整数,单位是分钟。设置值1440为24小时。如果删除了重要的数据,可以重...

2019-07-21 23:27:06

阅读数 44

评论数 0

Hive之——内部表与外部表相互相互转化

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/96768919 直接上代码,大家都懂 create table tablePartition(s string) partitioned by(pt string); alt...

2019-07-21 22:09:04

阅读数 44

评论数 0

Hive之——Hive-hiveserver2-beeline

在Hadoop集群中任选一台服务器作为Hive的服务器。主要配置Hive,配置好后,启动该服务器的meterstore,并配置 <!--配置使远程客户端连接Hive服务器bidev-cdh005--> <property> &am...

2019-07-18 19:17:02

阅读数 40

评论数 0

Hive之——使用hive的beeline连接报错hadoop is not allowed to impersonate hadoop (state=08S01,code=0)解决方案

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/96444889 问题: 使用hive的beeline连接Hive的远程模式终端时报错,报错信息为: hadoop is not allowed to impersonate...

2019-07-18 19:01:29

阅读数 49

评论数 0

Hadoop之——crontab 定时运行 hadoop 任务(以Hadoop用户身份运行crontab报错)

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/95964457 问题: 在/etc/crontab 里添加任务,想以hadoop 用户去执行这个脚本。 */5 * * * * hadoop /bin/sh /home/h...

2019-07-15 14:28:42

阅读数 62

评论数 8

CentOS之——Centos 6.8 定时任务Crontab服务

一,crontab服务的简介 二、安装cron服务 安装cron服务 : --yum install vixie-cron --yum install crontabs 把crond服务添加到系统启动项 chkconfig crond on 启动c...

2019-07-15 14:21:46

阅读数 36

评论数 0

Python之——pip is configured with locations that require TLS/SSL, however the ssl module in Python

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/95938590 问题: 安装Python后,使用pip命令安装Python库,报错,如下: $ pip install numpy pip is configured wi...

2019-07-15 09:30:28

阅读数 52

评论数 0

Hadoop之——Permission denied error 13 - Python on Hadoop

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/95932591 问题: 在Hadoop中运行Python程序,命令行输入如下命令: -bash-4.1$ hadoop jar /usr/local/hadoop-3.2....

2019-07-14 22:14:13

阅读数 36

评论数 0

Hadoop之——基于3台服务器搭建Hadoop3.x集群(实测完整版)

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/93892479 一、 服务器规划 二、Hadoop集群环境的准备 搭建Hadoop集群环境之前,需要为搭建Hadoop集群环境做一些相关的准备工作,以达到正确安装Hado...

2019-07-14 08:37:52

阅读数 121

评论数 0

Hadoop之——实现全排序

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/95603288 一般方法: 有一种方式可以实现Hadoop的全排序,那就是将多个Map阶段输出的排序中间结果全部输入到一个Reducer类中,这种方式的并行度不高,性能瓶颈也比...

2019-07-12 12:46:50

阅读数 29

评论数 1

Hadoop之——Hadoop3.0前后命令对比

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/95450246 启动命令变化对比总结如下: Hadoop 3.0以前版本的命令 Hadoop 3.0之后版本的命令 启动进程:...

2019-07-11 09:52:55

阅读数 53

评论数 0

Hadoop之——setfacl 设置访问控制列表异常

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/94992969 默认情况下,在命令行执行Hadoop的设置访问控制列表时,出现异常,具体异常信息如下: setfacl: The ACL operation has been...

2019-07-07 15:11:40

阅读数 71

评论数 1

Hadoop之——HDFS容错

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/94721335 HDFS的容错能力大概可以分为两个方面:文件系统的容错性以及Hadoop本身的容错能力。 文件系统的容错性 心跳机制,在Namenode和Datanode之间...

2019-07-05 10:58:26

阅读数 47

评论数 1

Google大数据之——三篇著名论文中文版

Google File System中文版Google Bigtable中文版Google MapReduce中文版

2019-07-02 09:01:49

阅读数 76

评论数 0

提示
确定要删除当前文章?
取消 删除