BigData
文章平均质量分 67
薛倩
一只慢慢爬的蜗牛程序媛
展开
-
HDFS文件上传,命令行模式执行WordCount自带实例
以下命令均在/usr/local/hadoop下执行 1. 新建文件夹input,新建文件input/file.txtmkdir inputecho "hello world hello hadoop" >>input/file.txt 2. 启动HDFS./sbin/start-dfs.sh以下所有的bin/都可以省略,因为环境变量原创 2016-05-10 10:10:21 · 1501 阅读 · 0 评论 -
Ubuntu下MongoDB的安装与使用(离线安装方式|非apt-get)
本教程详细指导大家如何在离线状态下安装MongoDB。如果网络状态极差,而已经下载了MongoDB的安装包,可以参考本教程。原创 2016-07-12 17:43:23 · 3714 阅读 · 0 评论 -
Ubuntu下开启MongoDB用户权限
本教程详细指导大家如何开启并设置用户权限。MongoDB默认是没有开启用户权限的,如果直接在公网服务器上如此搭建MongoDB,那么所有人都可以直接访问并修改数据库数据了。 其实MongoDB本身有非常详细的安全配置准则,显然开发者也是想到了,然而他是将安全的任务推给用户去解决,这本身的策略就是偏向易用性的,对于安全性,则得靠边站了。原创 2016-07-12 10:39:39 · 6697 阅读 · 0 评论 -
Ubuntu下MongoDB的安装和使用
本博文介绍了MongoDB,并详细指引读者在Ubuntu下MongoDB的安装和使用。本教程在Ubuntu14.04下测试通过。原创 2016-07-12 10:35:16 · 58595 阅读 · 18 评论 -
大数据案例——Hive、MySQL、HBase数据互导
本文是基于教程大数据案例——本地文件上传hive数据库,对数据在Hive,MySQL,HBase之间的互导进行进阶版的学习。数据集:淘宝用户点击商品操作数据集,共30万条记录。如果没有安装MySQL,HBase,Sqoop请参考博文安装:Ubuntu安装MySQL及常用操作,Ubuntu安装HBase及常用操作,Ubuntu安装Sqoop1。原创 2016-11-16 16:40:13 · 8022 阅读 · 5 评论 -
ubuntu安装sqoop2
其他环境: hadoop:2.7.2 mysql:5.7.15 sqoop:1.99.5 1. 下载并解压sqoop源程序sudo tar -zvxf sqoop-1.99.5-bin-hadoop200.tar.gz -C /usr/local #解压sqoop并拷贝到/usr/local原创 2016-10-14 17:06:31 · 2121 阅读 · 0 评论 -
Ubuntu安装Sqoop1
安装环境: sqoop版本:1.4.6 Hadoop:2.7.2 MySQL:5.7.15 注意:sqoop1与sqoop2完全不兼容,1.4.6及之前的版本是sqoop1,之后的是sqoop2。ubuntu安装sqoop2 1.下载并解压sqoop1.4.6 sqoop下载地址tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar...原创 2016-11-12 22:09:44 · 1443 阅读 · 0 评论 -
查看HDFS文件系统数据的三种方法
1、使用插件——Hadoop-Eclipse-Plugin 2、HDFS Web界面 3、shell命令原创 2016-07-22 15:38:43 · 53042 阅读 · 2 评论