- 博客(16)
- 资源 (15)
- 收藏
- 关注
原创 HBase shell小结
1、进入hbase命令行./hbase shell2、显示帮助:help3、显示hbase中的表list4、创建user表,包含info、data两个列族:create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}例子:create ‘mygirls’,{NAME...
2017-04-30 16:56:24 413
原创 hbase初识
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协调工具。主键:主键是用来检索记录的主键,访问hbase ta
2017-04-30 16:55:58 651
原创 hbase的搭建
hbase的伪分布式(单结点):1.修改hbase-env.sh 将java的路径修改一下。2.修改hbase-site.xml ,将数据库文件保存到本地文件系统。 hbase.rootdir file:///root/hbase3.启动hbase ./start-hbase.sh 4.启动
2017-04-30 16:49:10 397
原创 hbase集群部分节点HRegionServer启动后自动关闭的问题
我有四个HRegionServer节点。发现输入./start-hbase.sh后,只启动了两个节点,而且后来两个节点又挂掉了。查看日志:more hbase-root-regionserver-heres01.log报错如下:2017-04-30 14:02:05,999 FATAL [regionserver60020] regionserver.HRegionServer
2017-04-30 16:47:57 4193
原创 crontab的使用
chkconfig --list |grep crondps aux|grep crond一般情况,系统定时任务都会跟系统一起开机启动。service crond restartchkconfig crond on#crontab [选项]选项:-e 编辑crontab定时任务-l 查询crontab任务-r 删除当前用户所有crontab任务
2017-04-28 22:20:48 895
原创 sqoop数据导入的常见问题及小结
本文首先是讲述sqoop的如何进行数据的导入和导出及其注意点,然后列举了sqoop和mysql在数据导入导出过程中的一些常见错误。
2017-04-23 19:05:38 2317
原创 CPU双核调度问题
问题:一种双核CPU的两个核能够同时的处理任务,现在有n个已知数据量的任务需要交给CPU处理,假设已知CPU的每个核1秒可以处理1kb,每个核同时只能处理一项任务。n个任务可以按照任意顺序放入CPU进行处理,现在需要设计一个方案让CPU处理完这批任务所需的时间最少,求这个最小的时间。输入描述:输入包括两行:第一行为整数n(1 ≤ n ≤ 50)第二行为n个整数length[i](1
2017-04-21 17:12:34 2278
原创 wordcount程序卡住了
问题,内置wordcount程序运行到INFO mapreduce.Job: Running job: job_1492509956955_0001卡住了,很长时间不动:17/04/18 18:00:30 INFO client.RMProxy: Connecting to ResourceManager at heres04/192.168.2.113:803217/04/18 18:00
2017-04-18 18:54:53 3206
原创 hadoop上传文件报错
报错原因:could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanod1.首先检查hadoop各结点的防火墙是否已经关闭,没有关闭,使用service iptables stop ,并关闭开机启动,chkconfig iptables off;2.检查是否离开安全模式,没有离
2017-04-18 14:55:33 2052
原创 hadoop分布式搭建(+zookeeper,6台机器)
前期准备(这里使用的centOS6,hadoop2.2.0【这是64位的hadoop2.2.0的安装包和源码包下载地址:http://download.csdn.net/detail/vinsuan1993/9812599】):1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系######注意######如果是租用的服务器或是使用的云主机(如华为用主机、阿里云主机等
2017-04-13 11:18:37 2789
转载 zookeeper的搭建
简介:»Zookeeper是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务»它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等 »Hadoop2.0,使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode,存储配置信息等.»HBase,使用Zookeeper的事件处理确保整个集群只有一个HM...
2017-04-11 18:44:32 505
原创 jvm运行机制
JVM启动流程:JVM基本结构:PC寄存器每个线程拥有一个PC寄存器在线程创建时 创建指向下一条指令的地址执行本地方法时,PC的值为undefined 方法区保存装载的类信息• 类型的常量池• 字段,方法信息• 方法字节码通常和永久区(Perm)关联在一起 Java堆(new,进行堆上
2017-04-10 15:20:06 354
转载 Java打印整数的二进制表示(代码与解析)
原文链接:http://www.cnblogs.com/100thMountain/p/5447325.html代码示例:public static void main(String[] args) { int a=-99; for(int i=0;i<32;i++){ int t = (a & 0x80000000>>>i)>>>(31-i); System.out.
2017-04-09 15:21:58 943
原创 hadoop之倒排索引
倒排索引基础知识可以参博客:http://blog.csdn.net/hguisu/article/details/7962350。需求:a.txt内容:hello tomhello jerryhello kittyhello worldhello tomb.txt内容:hello jerryhello tomhello world需要我们在
2017-04-06 22:23:11 456
原创 ssh框架登陆demo及html框架集
1.需求分析:实现登陆并利用dtree实现显示菜单。其中,ssh框架的搭建,请参考http://blog.csdn.net/vinsuan1993/article/details/68953986;2.项目代码结构:3.对于实体类的代码这里就不作过多的赘述,这里是通过MyEclipse从数据库反向生成实体类和xml文件(http://blog.csdn.net/qq_262
2017-04-02 21:41:50 1129
原创 ssh框架搭建小结2
1.将自定义框架搭建好(struts2+spring3.x+hibernate3.x)a.加入所需要的jar文件;b.在web.xml文件配置spring配置文件的路径,及spring容器启动所需要的监听器和编码过滤器,配置struts2过滤器;代码示例:<web-app version="3.0" xmlns="http://java.sun.com/xml/ns/
2017-04-02 21:01:41 375
PPCoin: Peer-to-Peer Crypto-Currency with Proof-of-Stake
2017-09-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人