2018年05月_雨轩_wscrf

转载个人超全hbase集群搭建过程！！！

Hbase集群是建立在hadoop集群之上，需要先搭建好hadoop集群，再搭建hbase集群。集群规划[plain] view plain copy 主机名 IP 安装的软件运行的进程 itcast01 192.168.1.201 jdk、hadoop NameNode...

2018-05-29 16:03:36 379

原创 AttemptID:attempt_1527588965479_0001_m_000000_0 Timed out after 600 secs

1.在用MapReduce 跑Hbase任务是出现这个从错误： AttemptID:attempt_1380292154249_0838_m_000035_0 Timed out after 600 secsContainer killed by the ApplicationMaster. 这个问题出现的背景是：Hbase中某张表每一条都含有照片，并且照片较大。问题原因貌似跟内存有关，可能是集群...

2018-05-29 13:11:44 7024

转载 sqoop 常用命令整理（一）

这些内容是从sqoop的官网整理出来的，是1.4.3版本的Document，如果有错误，希望大家指正。 1.使用sqoop导入数据　　　　sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST　　2.账号密码 sqoop import --connect jdbc:mysql://da...

2018-05-29 10:05:01 1089

转载 sqoop export 数据覆盖更新

sqoop的导出工具是把HDFS上文件中的数据导出到mysql中mysql中的表现在在linux上创建一个文件，并把这个文件上传到hdfs上cat person.txt 7,no7,778,no8,88$ hadoop fs -mkdir person_export$ hadoop fs -put -f person.txt person_export$ hadoop fs -ls p...

2018-05-29 10:02:23 1786

转载 MYSQL登录错误：mysqladmin: connect to server at 'localhost' failed

一、mysql登录错误mysqladmin: connect to server at 'localhost' failederror: 'Access denied for user 'root'@'localhost' (using password: YES)'无法修改密码用 service mysqld stopmysqld_safe --skip-grant-tables &输入...

2018-05-28 16:37:17 6719

转载使用sqoop从mysql导入数据到hive

目录前言一、使用的导入命令二、遇到的问题及解决1. 用文本字段进行分区的问题2. Hadoop历史服务器Hadoop JobHistory没开启的问题3. 连接元数据存储数据库报错4. 没有在hive创建数据库5. 其他警告和报错三、参考回到顶部前言这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。环境：系统：Centos 6.5Hadoop：Apache，2.7.3My...

2018-05-28 13:44:32 1794

原创虚拟机内存设置

虚拟机内存设置-Xms20m 初始堆内存 -Xmx20m 最大堆内存 -Xmn1m 新生代内存默认1/3或者1/4 -Xss1m 函数调用最大深度private static int count;public static void recursion(){count++;recursion();}-XX:SurvivorRation=2 新生代eden/from或者eden/to 复制...

2018-05-22 13:01:01 1049

转载 hadoop2.7.2完全分布式环境搭建

1、先使用groupadd hadoop 建立hadoop用户组2、新建用户，useradd -d /usr/hadoop -g hadoop -m hadoop （新建用户hadoop指定用户主目录/usr/hadoop 及所属组hadoop）3、passwd hadoop 设置hadoop密码（这里设置密码为hadoop）4、安装好jdk1.8版本，安装教材地址http://www.cnbl...

2018-05-18 13:09:00 699 1

转载 windows下eclipse 做hadoop开发

1、先安装好hadoop 集群参考文档http://www.cnblogs.com/bornteam/p/6517960.html2、首先安装好集群，再把去下载hadoop-eclipse-plugin-2.6.0.jar放在eclipse安装文件夹的插件中下载链接https://github.com/winghc/hadoop2x-eclipse-plugin/blob/master/r...

2018-05-18 13:07:40 221

转载 hadoop ha 只能同时启动一个namenode问题的解决方案

启动一个，另外一个就自动退出了。。后来发现是我配置文件的问题：1. hdfs-site.xml 里缺少如下配置，这是关于HA的<property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop...

2018-05-16 22:43:51 3591

原创解决 maps to localhost, but this does not map back to the address

修改 /etc/ssh/ssh_configvim /etc/ssh/ssh_configGSSAPIAuthentication no

2018-05-16 20:20:09 2654

转载 Hadoop总结—思维导图

概述最近在学习Hadoop系统，目前学习了HDFS、Mapreduce、HBase、Hive、Zookeeper这些组件，因此尝试将学习的东西用思维导图的形式做一个总结回顾。思维导图总体搭建架构-HDFS架构-MapReduce组件-HBase组件-Hive组件-ZooKeeper...

2018-05-10 18:52:57 1091

转载 linux环境下安装nginx步骤

开始前，请确认gcc g++开发类库是否装好，默认已经安装。　　ububtu平台编译环境可以使用以下指令apt-get install build-essentialapt-get install libtool　　centos平台编译环境使用如下指令　　安装make：yum -y install gcc automake autoconf libtool make　　安装g++:yum ins...

2018-05-09 15:39:32 144

转载 nginx无法启动: libpcre.so.1/libpcre.so.0: cannot open shared object file解决办法

NGINX启动时提示错误：/usr/local/nginx/sbin/nginx -t/usr/local/nginx/sbin/nginx: error while loading shared libraries: libpcre.so.1: cannot open shared object file: No such file or directoryldd $(which /usr/lo...

2018-05-09 15:38:31 1299

转载 Linux下安装Redis

redis官网地址：http://www.redis.io/ 最新版本：2.8.3 在Linux下安装Redis非常简单，具体步骤如下（官网有说明）： 1、下载源码，解压缩后编译源码。$ wget http://download.redis.io/releases/redis-2.8.3.tar.gz$ tar xzf redis-2.8.3.tar.gz$ cd red...

2018-05-09 13:51:56 155

转载 hive使用mysql作为元数据库时的编码问题

hive的Specified key was too long; max key length is 767 bytes问题解决解决一： FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-creatingalidating the datastore for clas...

2018-05-09 11:22:55 583

转载使用sqoop将mysql数据导入到hadoop

Sqoop的安装也很简单。完成sqoop的安装后，可以这样测试是否可以连接到mysql(注意：mysql的jar包要放到 SQOOP_HOME/lib 下)：sqoop list-databases --connect jdbc:mysql://192.168.1.109:3306/ --username root --password 19891231结果如下即说明sqoop已经可以正常使用了。...

2018-05-09 11:20:50 1391

转载 hadoop hdfs常用命令

hadoop常用命令： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下 hadoop fs...

2018-05-08 10:32:51 276

转载 Hive安装（本地独立模式，MySQL为元数据库）

3. 复制一份hive-default.xml.template重命名为hive-site.xmlcp hive-default.xml.template hive-site.xml4. 更改hive-site.xml 内容注意：javax.jdo.option.ConnectionURLjdbc:mysql://localhost/hive_metastore?createDatabaseIfN...

2018-05-07 23:05:01 461

转载 Hive安装与配置

Hive的下载地址：http://archive.apache.org/dist/hive/，你可以选择你适合的版本去下载。本博客下载的Hive版本为0.8.0。你可以运行下面的命令去下载Hive，并解压： [wyp@wyp Downloads]$ wget \ http://archive.apache.org/dist/hive/hive-0.10.0/hive-0.10.0.tar.g...

2018-05-07 20:59:13 611

原创数据源配置时加上编码转换格式后出问题了

xml文件中配置JDBC源遇到问题： The reference to entity "characterEncoding" must end with the ';' delimiter 数据源配置时加上编码转换格式后出问题了：The reference to entity"characterEnco...

2018-05-07 20:52:32 887

转载 java异常处理的throw和throws的区别

1. 区别throws是用来声明一个方法可能抛出的所有异常信息，throws是将异常声明但是不处理，而是将异常往上传，谁调用我就交给谁处理。而throw则是指抛出的一个具体的异常类型。2.分别介绍 throws：用于声明异常，例如，如果一个方法里面不想有任何的异常处理，则在没有任何代码进行异常处理的时候，必须对这个方法进行声明有可能产生的所有异常（其实就是，不想自己处理，那就交给别人吧，告诉别人...

2018-05-07 11:06:50 262

原创找不到或无法加载主类 org.apache.sqoop.sqoop

错误：找不到或无法加载主类 org.apache.sqoop.sqoop我从网上搜索答案，说把sqoop的lib目录下的sqoop的jar包放到hadoop的lib下，或者放到share/hadoop/yarn下，其实这种说法是片面的！因为到1.4.5及以后版本安装包的lib下就已经没有了sqoop-1.4.5.jar或者sqoop-1.4.6.jar.解决方法：1.sqoop-1.4.x.tar...

2018-05-04 23:09:35 5491 3

转载 Linux上安装Zookeeper以及一些注意事项

分布式应用现在已经越来越广泛，Spring Could也是一个不错的一站式解决方案，不过据我了解国内目前貌似使用阿里Dubbo的公司比较多，一方面这个框架也确实很OK，另一方面可能也是因为Dubbo的中文文档比较全的缘故，据Dubbo官网上的消息，阿里已经重新开始了对Dubbo的维护，这也算是使用Dubbo的互联网公司的福音了吧。OK，废话不多说，今天我们就先来看看如何在Linux上安装zooke...

2018-05-04 22:30:43 248

转载如何将mysql数据导入Hadoop之Sqoop安装

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够...

2018-05-04 21:55:31 381

转载 linux下mysql安装

1、下载地址https://www.mysql.com/downloads/选择community server　　点击DOWLOAD选择版本，当前选择的5.6版本点击下载mysql-5.6.38-linux-glibc2.12-i686.tar.gz选择no thanks2、安装mysqltar -xvzf mysql-5.6.38-linux-glibc2.12-i686.tar.gz...

2018-05-04 17:43:43 115

转载 Linux下安装MySQL

安装步骤1、下载　　　　下载地址：http://dev.mysql.com/downloads/mysql/5.6.html#downloads　　　　下载版本：我这里选择的5.6.33，通用版，linux下64位　　　　也可以直接复制64位的下载地址，通过命令下载：wget http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.33-lin...

2018-05-04 10:38:00 111

原创 userdel删除用户时候提示：userdel: user xx is currently logged in

创建新用户后，想删除，使用 userdel xx 删除，结果出现userdel: user xx is currently logged in 的提示，其结果是无法删除，可以使用 sudo userdel -r -f xx 加两个参数，给他强制删除，之后可能出现警告：userdel: warning: can't remove /var/mail/wxt: No such fil...

2018-05-03 13:32:24 1640

转载 Java项目中使用Redis缓存案例

缓存的目的是为了提高系统的性能，缓存中的数据主要有两种： 1.热点数据。我们将经常访问到的数据放在缓存中，降低数据库I/O,同时因为缓存的数据的高速查询，加快整个系统的响应速度，也在一定程度上提高并发量。 2.查询耗时的数据。如果有一些数据查询十分耗时，那么每次请求这些数据时，都去数据库查询的话，会使得系统响应速度特别低，数据库cpu...

2018-05-03 09:36:54 1775

wscrf的博客