- 博客(7)
- 收藏
- 关注
RSS订阅原创 哈哈哈哈哈哈
1)网络接口控制2)查看网卡eth0的配置信息、禁用网卡eth03)列出所有网络接口，确认启用状态4)激活网卡eth0，将地址设置为 192.168.4.5/245)为网卡eth0添加一个IP地址 192.168.8.5/246)为本机设置静态路由记录7)访问网段200.0.0.0/24可经192.168.8.100抵达8)默认网关的IP地址为 192.168.8.254临时配置：简单快速，可直接更改运行中的地址参数，适合在调试网络的过程中使用；
2024-03-21 20:37:46
1553
原创 Hadoop
Spark框架包含多个紧密集成的组件，包括Spark SQL(即席查询)、Spark Streaming(实时流处理)、 Spark MLlib(机器学习库)、Spark GraphX(图计算)，如图1-3所示，并且Spark支持在一个应用中同时使用这些组件。Spark 与 Hadoop MapReduce的运行速度差异较大的原因是，Spark的中间数据存放于内存中，有更高的迭代运算效率，而HadoopMapReduce每次迭代的中间数据存放于HDFS中，涉及硬盘的读写，运算效率相对较低。
2024-03-08 17:42:29
1212
原创 Hadoop hdfs架构 hdfs读写的流程
另外，数据块的应答不仅包含了数据块还包含了校验值，HDFS客户端收到数据应答包的时候，会对数据进行校验，如果校验错误，也就是DataNode这个数据块副本出现了损坏，HDFS 客户端会通过ClientProtocal.reportBadBlocks向NameNode汇报这个损坏的数据块副本，同时DFSInputStream会尝试从其他DataNode读取这个数据块.Octions获取下一个数据块的位置信息，并建立和这个新的数据块的最优节点之间的连接，然后HDFS继续读取数据块。
2024-03-07 21:43:51
546
1
原创 Hadoop生态圈
我们通常说到的hadoop包括两部分，一是Hadoop核心技术（或者说狭义上的hadoop），对应为apache开源社区的一个项目，主要包括三部分内容：hdfs，mapreduce，yarn。另一部分指广义的，广义上指一个生态圈，泛指大数据技术相关的开源组件或产品，如hbase、hive、spark、pig、zookeeper、kafka、flume、phoenix、sqoop等。比如habse和kafka会依赖zookeeper，hive会依赖mapreduce。
2024-03-07 21:39:17
128
原创 结构化数据 非结构化数据 举例
对象存储支持多种应用，比如复制和存档数据、图像或视频服务，存储次级静态数据，开发数据存储整合的新应用，存储容量难以估计的数据，为 Web 应用创建基于云的弹性存储。Cinder–提供块存储（Block Storage），类似于 Amazon 的 EBS 块存储服务，OpenStack 中的实例是不能持久化的，需要挂载 volume，在 volume 中实现持久化。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。以OpenStack为例，介绍存储原理。
2024-03-07 21:36:03
346
原创 大数据的特征
价值密度低(Value) 大数据本身存在较大的潜在价值，但由于大数据的数据量过大，其价值往往呈现稀疏性的特点。虽然单位数据的价值密度在不断降低，但是数据的整体价值在提高。类型繁多(Variety) 大数据的类型不仅包括网络日志、音频、视频、图片、地理位置信息等结构化数据，还包括半结构化数据甚至是非结构化数据，具有异构性和多样性的特点。数据量大(Volume) 非结构化数据的超大规模和增长，导致数据集合的规模不断扩大，数据单位已从GB到TB再到PB级，甚至开始以EB和ZB来计数。
2024-03-07 21:31:22
190
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人