![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
晨枫navy
优秀的人总能看到比自己更好的,而平庸的人总能看到比自己更差的。努力后你会发现自己要比想象的更优秀。所以,我们要记住这一句话:跟别人学,跟自己比;越是努力,越有幸运 ; 越是担当,越又成长 ; 越是感恩,越有福报。越是付出,越能得到。
展开
-
MongoDB的一些基本操作
首先安装mongodb1.下载地址:http://www.mongodb.org/downloads2.解压缩到自己想要安装的目录,比如F:\mongodb3.创建文件夹F:\mongodb\db、F:\mongodb\log,分别用来安装db和日志文件,在log文件夹下创建一个日志文件mongodb.log,即d:\mongodb\log\mongodb.log原创 2015-08-15 21:20:59 · 691 阅读 · 0 评论 -
上传本地文件到hdfs上
package com.yc.hadoop.hdfs;import java.net.URI;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import...原创 2018-03-23 20:43:29 · 2643 阅读 · 0 评论 -
下载hdfs上的指定文件到本地
package com.yc.hadoop.hdfs;import java.net.URI;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import...原创 2018-03-23 20:42:37 · 6722 阅读 · 0 评论 -
读取hdfs上指定文件中的内容
package com.yc.hadoop.hdfs;import java.net.URI;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileStatus...原创 2018-03-23 20:42:03 · 3248 阅读 · 0 评论 -
删除hdfs上指定的文件
package com.yc.hadoop.hdfs;import java.net.URI;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import...原创 2018-03-23 20:41:24 · 6571 阅读 · 0 评论 -
修改hdfs上指定文件的文件名
package com.yc.hadoop.hdfs;import java.net.URI;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import...原创 2018-03-23 20:40:49 · 11810 阅读 · 0 评论 -
HDFS文件的创建以及向文件中写入内容
package com.yc.hadoop.hdfs;import java.net.URI;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSyste...原创 2018-03-23 20:40:09 · 10227 阅读 · 0 评论 -
Hadoop WordCount
package com.yc.hadoop.hdfs;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWrita...原创 2018-03-23 20:39:07 · 254 阅读 · 0 评论 -
Windows Eclipse中进行WordCount报错org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/Strin
报错:Exception inthread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z解决: C:\Windows\System32下缺少hadoop.dll,(hadoop-3.0.0\bin目录下)把这个文件拷...转载 2018-03-23 20:37:40 · 278 阅读 · 0 评论 -
测试Hadoop平台是否搭建成功
1、启动hdfs。命令为:sbin/start-dfs.sh2、在hdfs中创建input文件目录。命令为:hadoop fs -mkdir /input。(删除目录:hadoop fs -rm-r /input)3、在当前用户目录下创建文件yc.txt。命令为:touch yc.txt (删除为:rm -rf yc.txt) 4、使用vi向yc.txt文件中写入内容5、将当前用户目录下的...原创 2018-03-11 15:14:41 · 7270 阅读 · 0 评论 -
Hadoop伪分布式搭建
1、到hadoop官网下载hadoop3.0,解压后用xftp复制到ubuntu中2、配置hadoop的环境变量 在/etc/profile文件中添加如下语句: exportHADOOP_HOME=/home/navy/hadoop exportPATH=$PATH:$JAVA_HOME:$HADOOP_HOME/bin3、配置完后,重启配置使其生原创 2018-02-03 17:01:51 · 467 阅读 · 0 评论 -
MongoDB Helper的简单封装
db.properties#mongodb数据库配置文件#数据库服务器所在的ip地址ip=127.0.0.1 #mongodb服务端口号port=27017#要连接的库dbName=yc#用户名uname=#密码password=#默认的连接集合collectionName=voting原创 2015-08-15 21:22:04 · 1995 阅读 · 0 评论 -
zookeeper的安装与配置
1、到官网https://zookeeper.apache.org/releases.html#download下载zookeeper安装包,我使用的是zookeeper-3.4.13.tar.gz。2、拷贝到linux服务器,并解压。命令:tar –zxvf zookeeper-3.4.13.tar.gz3、将zookeeper/conf目录下的zoo_sample.cfg重命名为zoo...翻译 2018-07-27 17:34:15 · 848 阅读 · 0 评论