2017年04月_-Heres-

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月

原创 HBase shell小结

1、进入hbase命令行./hbase shell2、显示帮助：help3、显示hbase中的表list4、创建user表，包含info、data两个列族：create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}例子：create ‘mygirls’,{NAME...

2017-04-30 16:56:24 388

原创 hbase初识

HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。主键：主键是用来检索记录的主键，访问hbase ta

2017-04-30 16:55:58 625

原创 hbase的搭建

hbase的伪分布式（单结点）：1.修改hbase-env.sh 将java的路径修改一下。2.修改hbase-site.xml ，将数据库文件保存到本地文件系统。 hbase.rootdir file:///root/hbase3.启动hbase ./start-hbase.sh 4.启动

2017-04-30 16:49:10 379

原创 hbase集群部分节点HRegionServer启动后自动关闭的问题

我有四个ＨRegionServer节点。发现输入./start-hbase.sh后，只启动了两个节点，而且后来两个节点又挂掉了。查看日志：more hbase-root-regionserver-heres01.log报错如下：2017-04-30 14:02:05,999 FATAL [regionserver60020] regionserver.HRegionServer

2017-04-30 16:47:57 4159

原创 crontab的使用

chkconfig --list |grep crondps aux|grep crond一般情况，系统定时任务都会跟系统一起开机启动。service crond restartchkconfig crond on#crontab [选项]选项：-e 编辑crontab定时任务-l 查询crontab任务-r 删除当前用户所有crontab任务

2017-04-28 22:20:48 882

原创 sqoop数据导入的常见问题及小结

本文首先是讲述sqoop的如何进行数据的导入和导出及其注意点，然后列举了sqoop和mysql在数据导入导出过程中的一些常见错误。

2017-04-23 19:05:38 2222

原创 CPU双核调度问题

问题：一种双核CPU的两个核能够同时的处理任务，现在有n个已知数据量的任务需要交给CPU处理，假设已知CPU的每个核1秒可以处理1kb，每个核同时只能处理一项任务。n个任务可以按照任意顺序放入CPU进行处理，现在需要设计一个方案让CPU处理完这批任务所需的时间最少，求这个最小的时间。输入描述：输入包括两行：第一行为整数n(1 ≤ n ≤ 50)第二行为n个整数length[i](1

2017-04-21 17:12:34 2203

原创 wordcount程序卡住了

问题，内置wordcount程序运行到INFO mapreduce.Job: Running job: job_1492509956955_0001卡住了，很长时间不动：17/04/18 18:00:30 INFO client.RMProxy: Connecting to ResourceManager at heres04/192.168.2.113:803217/04/18 18:00

2017-04-18 18:54:53 3152

原创 hadoop上传文件报错

报错原因：could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanod1.首先检查hadoop各结点的防火墙是否已经关闭，没有关闭，使用service iptables stop ，并关闭开机启动，chkconfig iptables off；2.检查是否离开安全模式，没有离

2017-04-18 14:55:33 1993

原创 hadoop分布式搭建（+zookeeper，6台机器）

前期准备（这里使用的centOS6，hadoop2.2.0【这是64位的hadoop2.2.0的安装包和源码包下载地址：http://download.csdn.net/detail/vinsuan1993/9812599】）：1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系######注意######如果是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等

2017-04-13 11:18:37 2727

转载 zookeeper的搭建

简介：»Zookeeper是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务»它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等 »Hadoop2.0,使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode,存储配置信息等.»HBase,使用Zookeeper的事件处理确保整个集群只有一个HM...

2017-04-11 18:44:32 490

原创 jvm运行机制

JVM启动流程：JVM基本结构：PC寄存器每个线程拥有一个PC寄存器在线程创建时创建指向下一条指令的地址执行本地方法时，PC的值为undefined 方法区保存装载的类信息• 类型的常量池• 字段，方法信息• 方法字节码通常和永久区(Perm)关联在一起 Java堆（new，进行堆上

2017-04-10 15:20:06 348

转载 Java打印整数的二进制表示(代码与解析)

原文链接：http://www.cnblogs.com/100thMountain/p/5447325.html代码示例：public static void main(String[] args) { int a=-99; for(int i=0;i<32;i++){ int t = (a & 0x80000000>>>i)>>>(31-i); System.out.

2017-04-09 15:21:58 923

原创 hadoop之倒排索引

倒排索引基础知识可以参博客：http://blog.csdn.net/hguisu/article/details/7962350。需求：a.txt内容：hello tomhello jerryhello kittyhello worldhello tomb.txt内容：hello jerryhello tomhello world需要我们在

2017-04-06 22:23:11 442

原创 ssh框架登陆demo及html框架集

1.需求分析：实现登陆并利用dtree实现显示菜单。其中，ssh框架的搭建，请参考http://blog.csdn.net/vinsuan1993/article/details/68953986；2.项目代码结构：3.对于实体类的代码这里就不作过多的赘述，这里是通过MyEclipse从数据库反向生成实体类和xml文件（http://blog.csdn.net/qq_262

2017-04-02 21:41:50 1109

原创 ssh框架搭建小结2

1.将自定义框架搭建好（struts2+spring3.x+hibernate3.x）a.加入所需要的jar文件；b.在web.xml文件配置spring配置文件的路径，及spring容器启动所需要的监听器和编码过滤器，配置struts2过滤器；代码示例：<web-app version="3.0" xmlns="http://java.sun.com/xml/ns/

2017-04-02 21:01:41 362