排序:
默认
按更新时间
按访问量

windows下ant编译生成hadoop-eclipse-plugin插件解决办法

        我目前用的hadoop2.9.0版本,之前应该是用hadoop2.6以下的版本的时候,直接从网上下载hadoop-eclipse-plugin-**.jar拷贝到eclipse/plugins下就解决了,后面的版本看网上介绍需要用ant编译生成hadoop-eclipse-plug...

2018-11-16 10:27:32

阅读数:24

评论数:0

Hadoop定义的SequenceFile和MapFile的编程实现

Hadoop定义了SequenceFile 和MapFile两种类型的数据结构以适应Mapreduce编程框架的需要,Map输出的中间结果就是由他们表示的。其中MapFile是经过排序并带有索引的SequenceFile. SequenceFile记录的是key/value对的列表,是序列化后的...

2018-11-06 11:39:03

阅读数:15

评论数:0

centos(linux)取消屏幕保护锁屏功能

CentOS系统在闲置一段时间后,会启动屏幕保护程序,并要求重新输入密码才能回到桌面,这样导致了有些启动的应用停止了服务,需要重新启动,带来了不必要的重复的繁琐的工作。 取消屏幕保护锁屏操作如下: 进入到centos桌面,点击system-->preferences--&...

2018-10-29 08:42:16

阅读数:55

评论数:0

centos普通用户解压缩报错:Cannot open: No such file or directory

使用普通用户解压缩文件,在tar命令前需要赋予命令sudo,否则会报Cannot open: No such file or directory错误。就是一个权限问题。sudo是linux系统管理指令,是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具,如halt,reboot,s...

2018-07-03 09:40:10

阅读数:1996

评论数:0

centos普通用户ssh-keygen后仍需重复输入密码问题

用root用户创建ssh 的时候没有问题,在用普通用户登录后,创建了ssh免密登录后,需要反复输入密码。查找原因后,发现权限不够。[hadoop@master .ssh]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa Generating public/pri...

2018-07-03 09:30:33

阅读数:95

评论数:0

centos普通用户权限问题解决:hadoop is not in the sudoers file. This incident will be reported.

我在centos下有一个普通用户hadoop,在用hadoop创建文件夹:[hadoop@localhost  /] sudo mkdir  /soft[sudo] password for hadoop: hadoop is not in the sudoers file.  This inci...

2018-06-29 10:16:01

阅读数:69

评论数:0

基于文件的数据结构之SequenceFile实现

Hadoop的sequenceFile为二进制键/值对提供了一个持久数据结构。它可以作为小文件的容器。HDFS和MapReduce是针对大文件优化的,所以通过SequenceFile类型将小文件包装起来,可以获得更高效率的存储和处理。SequenceFile的实现代码:package com.jr...

2018-06-04 11:22:55

阅读数:85

评论数:0

JUnit报错method initializationerror not found的解决方法

我在一个类里先写了testCompress方法,Junit测试正常运行,然后更进一步增加了testBatchCompress()对testCompress方法进行调用,用JUnit测试报method initializationerror not found:错误:提示页面如下:,然后查询解决问题...

2018-05-29 12:18:56

阅读数:214

评论数:0

centos linux系统修改主机名

修改主机名1.修改/etc/sysconfig/network打开终端,输入:vim /etc/sysconfig/networkdatanode2即为主机名,可以根据自己的需要随意更改然后source /etc/sysconfig/network,使修改内容立即生效在终端输入命令测试:可以看到主...

2018-05-21 12:06:48

阅读数:47

评论数:0

hadoop大数据文件压缩Gzip代码实现

文件压缩有两大好处:减少存储文件所需要的磁盘空间,并加速数据在网络和磁盘上的传输。不同的压缩工具有不同的压缩特性。gzip是一个通用的压缩工具,在空间/时间性能的权衡中,居于其他两个压缩方法之间。bzip2的压缩能力强于gzip,但压缩速度更慢一些。LZO、LZ4和Snappy均优化压缩速度,其速...

2018-05-19 11:00:15

阅读数:229

评论数:0

maven配置阿里云仓库

在看视频中,老师推荐使用.oschina的仓库,在cmd命令下使用mvn help system测试失败,通过在网站找到alimaven,能正常从私服上下载,测试成功。 下载jar包默认在c盘用户目录下C:\Users\Administrator\.m2\repository&lt...

2018-05-05 22:37:19

阅读数:53

评论数:0

把windows下的文件夹挂载到linux虚拟机下

有时文件夹在不同的系统的电脑上,如果要两者共同的使用,把windows下的文件夹挂载到linux虚拟机下,那么要怎么办呢!现在我们一起去看看吧!       这里的挂载,指的是linux虚拟机可以访问windows系统的指定文件夹,http://包括读写。         ...

2017-11-15 07:59:26

阅读数:585

评论数:0

正确的mysql5.6.24中my.ini配置文件

正确的mysql5.6.24中my.ini配置文件,拿过去修改成你对应的版本号和对应的路径就可以用了 my.ini [client] #password =1234     # pipe # socket=mysql port=3306 default-character-set=gbk...

2016-08-12 10:31:58

阅读数:5125

评论数:0

eclipse配置maven搭建spring环境

eclipse,maven,spring环境搭建

2016-07-10 23:39:42

阅读数:27905

评论数:3

最经典的java 23种设计模式及具体例子

最经典的java 23种设计模式及具体例子

2016-07-10 09:43:50

阅读数:9682

评论数:1

基于注解的SpringMVC简单介绍

注解的SpringMVC简单介绍

2016-07-06 23:23:50

阅读数:375

评论数:0

springMVC视图层和控制器层之间参数传递

springMVC视图层和控制器层之间参数传递

2016-07-06 23:17:44

阅读数:2624

评论数:0

使用Eclipse连接hbase1.1 hadoop2.6

配置项目环境: 1.当第三方应用访问HBase时,需要首先访问ZooKeeper(由$HBASE_HOME/conf/hbase-site.xml设置),因此需要通过classpath来指定HBase配置文件的位置(即$HBASE_HOME/conf的位置)   其它文章介绍将hbase-si...

2016-06-28 22:49:26

阅读数:1847

评论数:0

IntelliJ IDEA 设置 编辑器字体大小背景色及快捷键

IDEA 设置 编辑器字体

2016-06-17 06:40:27

阅读数:1397

评论数:0

基于mysql的hive安装配置(apache-hive-2.0.1-bin.tar.gz)

基于mysql的hive安装配置(apache-hive-2.0.1-bin.tar.gz)

2016-06-09 15:54:35

阅读数:2474

评论数:1

提示
确定要删除当前文章?
取消 删除
关闭
关闭