shenhongdb-CSDN博客

原创完全分布式Hbase环境配置以及利用Java API创建表

在搭建Hbase环境前需要先配置Hadoop环境（本人的环境是ubutun，hadoop-2.7.0，hbase-1.1.10），Hadoop的版本和hbase的版本需匹配，否则环境可能配置不成功。首先，下载好对应的压缩包（建议在Apache官网上下载）。然后解压下好的压缩包接着分别对conf中的hbase-site.xml、regionservers、hbase-env.sh进行配置 1

2017-07-15 22:33:45 1311

原创 Hadoop的WordCount实现

学一种语言先从helloword开始写起，学Hadoop也一样，Hadoop中的helloword程序就是WordCount(单词计数)，本实例利用完全分布式hadoop实现对两个文件（File1.txt和File2.txt）中单词的统计。本实例是基于jdk1.8,ubutun来实现该程序的。程序编写（基于maven，先在本地的eclipse上编辑好）：package Hadoop.Mapred

2017-04-12 21:14:27 450

原创 hadoop配置时遇到的常见问题

1.当启动hadoop时候，执行sh start-dfs.sh时报错解决方案：将sh start-dfs.sh改成 ./start-dfs.sh即可通过。 2.当用hadoop fs -ls / 的时候出现 hadoop: command not found的问题解决方案：环境变量设置（vim /etc/peofile 将hadoop的安装目录加入

2017-04-10 11:59:43 668

原创 io密集型项目的并发效果与异步io的效果分析

今天在处理文件时遇到了一个比较怪异的问题，对数据进行处理时开启一个固定5个线程的线程池发现运行速度比一个线程运行的速度要慢（测试机配置32G运存，128G固态，i7处理器）。下面对项目背景以及测试结果进行分析。背景：项目是从133个文件中（共拥有一亿三千万条记录，每个文件100w条数据）挑选出符合条件的一百万条数据写入另一个文件。测试结果刚开机时：在电脑刚开机时，硬盘使用率在百分之一左右，

2017-03-20 21:38:43 1404

原创使用Tomcat建立基于主机名的虚拟主机

使用主机名的方式建立多个虚拟主机的演示步骤。修改Tomcat下的Server.xml文件，在其中加入如下内容 <Host name="site1" debug="0" appBase="d:\VirtualHost1"> <Context path="" docBase="." debug="0"/> </Host> <Host name="site2" d

2017-03-03 22:52:29 1062

原创 Jsp中加载不了jpg的解决方案

在Java-web项目中，要想jsp能够直接访问.jpg等静态文件，首先在web.xml中加入下面的代码： <servlet-name>default</servlet-name> <url-pattern>*.jpg</url-pattern> </servlet-mapping>然后在jsp中用绝对路径来引用.jpg文件，在使用绝对路径的时候，需要在jsp的头部加上：<%

2017-02-16 22:06:03 1354

原创计算机语言和传统语言的对比

昨天与人在交谈的过程中谈及了这个话题，今天午休后突然觉得有解释一下的想法，程序员就是这样吧，有idea就得做，哈哈。在讨论他们之前先得把概念科普一下，计算机语言（又名：programming language，程序语言）是计算机程序的形式语言，而传统的语言是人们进行沟通交流的各种表达符号。简单一点说就是计算机语言是计算机可以理解的语言，程序员可以通过组织计算机语言让计算机执行一定的功能；而传

2017-02-12 15:04:33 936

shenhongdb的博客