- 博客(5)
- 收藏
- 关注
RSS订阅原创 Hadoop案例演示电话信息分离-基于wordcount案例拓展
基于IDEA环境下代码案例#简单写一个wordcount文本vim word count.txthdfs dis -midair -p /user/root/input#发送到虚拟机,运行hadoop jar ……Hadoop的序列化案例需求· 统计手机号码的耗费的总上行流量/下行流量/状态妈/ 返回总流量· 输入数据：phone_data.txt需求分析· 一个典型的wordcount案例扩展· 但是使用Hadoop原生数据类型很难实现· 使用自定义满足条件· 必须实现
2021-10-26 22:31:32
890
原创 web-javaWeb数据库的连接
数据库的连接利用JDBC访问数据库JDBC：Java的数据库连接· 提供了一些访问数据库的接口类· 位于java.sql包· 访问的都是关系型数据库利用JDBC访问数据库的方式· JDBC-ODBC桥接方式（一般用于测试上、不灵活、写程序简单）· 本地API方式（添加访问数据库的驱动——JAR包、不需要安装，放在服务器上即可，适合中小型数据库的开发）· 利用中间件（使得访问的数据库映射成对象，之后面向对象开发）· 纯Java的驱动找到驱动程序，放到lib文件夹中，利用lang包·
2021-10-26 17:13:35
848
1原创 大数据HDFS相关知识点
HDFS相关知识点Namenode与Datanode的多目录配置服务器间的数据拷贝集群间的数据拷贝小文件归档解决办法案例HDFS回收站机制快照管理HDFS的写过程网络拓扑与节点距离的计算HDFS读过程总结Namenode与Datanode的多目录配置Namenode相同Datanode不同服务器间的数据拷贝#1.推 将文件推到指定主机scp -r hello.txt root@hadoop2：/tmp#2.拉 远程主机拷贝到本机scp -r root@hado
2021-10-16 15:33:56
121
原创 Ubuntu下Hadoop环境搭建--伪分布与完全分布第一阶段考试总结
Hadoop 第一阶段考试总结基础知识Hadoop运⾏环境搭建本地运⾏模式伪分布式运⾏完全分布式常⽤shell命令基础知识1. 存储单位 按顺序给出数据存储单位:Bit,Byte,KB,MB,GB,TB,PB,EB…2.大数据特点即4V1.Volumn(⼤量)：⼀些⼤型企业的数据量已经接近EB量级；2.Velocity(⾼速)：类比双十一瞬间处理的数据量；3.Variety(多样性)：⾮结构化数据越来越多；4.Value(低价值密度)：如何对有价值数据提纯成为⼤数据背
2021-10-14 22:27:34
227
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人