大数据
文章平均质量分 80
hadoop生态与架构(含音乐推荐系统等项目,不断更新)
一片程序的天空
这个作者很懒,什么都没留下…
展开
-
hbase-理论1
HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现 的编程语言为 Java。是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,因此可以容错地存 储海量稀疏的数据。特性:– 高可靠– 高并发读写– 面向列– 可伸缩– 易构建行存储:优点:写入一次性完成,保持数据完整性缺点:数据读取过程中产生冗余数...原创 2019-10-21 22:42:44 · 101 阅读 · 0 评论 -
大数据学习第三课之hdfs的java客户端IO流和简单Util的文件操作(以idea展示,eclipse为辅)
导包(在java中的jar包)流程如此下:导入这两个包,这里就演示的包,common相同。先导入这第三个还有它lib第三方依赖包的全部:点击打开就导入了,下面也是。这里就是导入成功了(hdfs和hdfsbao包一样的,举个例子,我这里是hdfs,名字随便取):...原创 2019-09-25 17:56:01 · 342 阅读 · 0 评论 -
大数据学习第二课之hdfs常用命令操作详解
hadoop fs -操作命令 -参数-ls #显示目录信息–>hadoop fs -ls hdfs://hadoop-server-00:9000/这些参数中,所有的hdfs路径都可以简写–>hadoop fs -ls / 等同于上一条命令的效果-copyFromLocal #从本地文件系统中拷贝文件到hdfs路径去...原创 2019-09-28 22:07:37 · 120 阅读 · 0 评论 -
大数据学习前篇之关于如何SecureCRT连接虚拟机详解:
在安装虚拟机的情况下,关于如何SecureCRT连接虚拟机(本教程适合小白,只需一步步的执行即可):点击编辑,选红色的把这个VMnet8删除。更改设置再添加VMnet8,我这里是VMnet2(说明:为方便而截图的),你添加VMnet8即可,因为你删除的是VMnet8。最后点击确定下来即可。首先打开虚拟机的终端:输入:su root然后输入密码:xiaosi(这里是你自己的虚...原创 2019-05-06 13:33:33 · 558 阅读 · 0 评论 -
大数据学习第一课之安装hadoop配置环境变量与java与集群以及免密登录
俩号原创 2019-09-22 21:07:45 · 210 阅读 · 0 评论 -
大数据学习第二课之五mapreduce原理简介
首先什么是mapreduce:总的来说,Mapreduce是一个分布式的运算编程框架,核心功能是将用户编写的核心逻辑代码分布式地运行在一个集群的很多服务器上。为什么要mapreduce(1)海量数据(我假设1000t,或者p级别)在单机上处理因为硬件资源限制,无法胜任,因为需要采用分布式集群的方式来处理。(2)而一旦将单机版程序扩展到集群来分布式运行,将极大地增加程序的复杂度和开发难度(...原创 2019-09-30 13:38:57 · 153 阅读 · 0 评论