大数据
zhenwei zhao
这个作者很懒,什么都没留下…
展开
-
python制作词云,解决中文乱码问题
python词云原创 2022-09-22 20:44:33 · 1075 阅读 · 0 评论 -
python——农业品种信息数据
农作物品种查询网站原创 2022-07-09 15:34:21 · 932 阅读 · 1 评论 -
词频数量1
原创 2021-12-31 11:18:18 · 598 阅读 · 0 评论 -
词频统计1
原创 2021-12-31 11:16:23 · 609 阅读 · 0 评论 -
最大值最小值
原创 2021-12-31 11:13:57 · 110 阅读 · 0 评论 -
追加内容11
原创 2021-12-31 11:11:23 · 50 阅读 · 0 评论 -
文件合并11
原创 2021-12-31 11:10:21 · 51 阅读 · 0 评论 -
【无标题】天气min
原创 2021-12-31 11:09:01 · 50 阅读 · 0 评论 -
天气ppp
原创 2021-12-31 11:07:31 · 88 阅读 · 0 评论 -
学生成绩pp
原创 2021-12-31 11:05:31 · 67 阅读 · 0 评论 -
学生成绩总
原创 2021-12-31 11:04:18 · 57 阅读 · 0 评论 -
TopN0
TopN原创 2021-12-31 11:02:59 · 71 阅读 · 0 评论 -
大数据技术:Hadoop再探讨练习题
1【单选题】下列说法正确的是________。A、第二名称节点无法解决单点故障问题B、HDFS HA可用性不好C、HDFS HA提供高可用性,可以实现可扩展性和隔离性D、第二名称节点是热备份我的答案:A2【单选题】HDFS Federation设计不能解决“单名称节点”存在的________问题。A、HDFS集群扩展性B、良好的隔离性C、性能更高效D、单点故障问题我的答案:D3【单选题】HDFS HA架构,是为了解决HDFS的________问题。A、命名空间的限制.原创 2021-12-09 12:54:35 · 3447 阅读 · 0 评论 -
大数据技术:Hadoop HDFS Java API
Hadoop Java API介绍1.创建文件目录2. 创建文件3.上传文件4.下载文件5.文件是否存在6.文件重命名7.文件删除8.文件合并9. 查看文件内容10.创建文件并写入内容11.查看文件目录的子文件介绍Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。该类是一个抽象类,通过以下两种静态工厂方法可以过去FileSystem实例:public static FileSystem.get(Configuration conf) t原创 2021-12-06 09:46:46 · 389 阅读 · 0 评论 -
大数据技术:MapReduce练习题
MapReduce练习题【单选题】下列说法错误的是________。A、Map函数将输入的元素转换成<key,value>形式的键值对B、Hadoop框架是用Java实现的,MapReduce应用程序则一定要用Java来写C、不同的Map任务之间不能互相通信D、MapReduce框架采用了Master/Slave架构,包括一个Master和若干个Slave答案:B【单选题】在使用MapReduce程序WordCount进行词频统计时,对于文本行“hello hadoo原创 2021-12-04 08:58:00 · 5182 阅读 · 2 评论 -
大数据技术MapReduce
大数据技术MapReduce1.1 分布式并行编程1.出现的原因2.分布式并行编程和传统的程序开发的区别1.2MapReduce模型简介1.3Map和Reduce1.4MapReduce的工作流程1.4.1 MapReduce的各个执行阶段1.1 分布式并行编程1.出现的原因大规模的集成电路的制作工艺已经到达一个极限,从2005年开始摩尔定律逐渐失效。为了提升程序的性能。就把希望寄托到cpu上。于是人们就借助分布式并行编程提高程序的运行性能。分布式程序运行在大规模的计算机集群上,集群中包括原创 2021-12-04 08:36:06 · 584 阅读 · 0 评论 -
HDFS shell进行HDFS操作
文章目录启动HDFS操作HDFS的头命令创建文件列出指定的文件和目录新建文件上传文件将本地文件移动到HDFS下载文件查看文件追写文件删除文件或目录显示占用磁盘的大小HDFS中的文件复制HDFS中文件的合并后下载统计启动HDFSstart-dfs.sh操作HDFS的头命令hsfs dfs 【命令】或 hadoop fs 【命令】创建文件hadoop fs -mkdir [-p] <path>[-p] 表示如果没有父目录,先创建父目录列出指定的文件和目录hadoop fs原创 2021-11-20 16:12:59 · 1741 阅读 · 0 评论 -
大数据技术第三章:HDFS:1.HDFS简介,HDFS组成,3.HDFS工作机制, 4.数据容错
大数据技术第三章:HDFS1.HDFS简介:优点:缺点:2. HDFS组成1.NameNode(名称节点)2.DataNode(数据节点)3.SecondaryNameNode(第二名称节点)3.HDFS工作机制副本冗余策略4.数据容错1.数据节点(DataNode)出错2.名称节点(NameNode)出错1.HDFS简介:HDFS是Google公司的GFS分布式文件系统的开源实现,是Apache Hadoop项目的子项目。HDFS是基于流式数据访问模式的分布式文件系统,支持海量数据的存储,允许用户将原创 2021-11-19 18:16:07 · 800 阅读 · 0 评论 -
大数据技术第一章:大数据概述练习题
大数据技术第一章:大数据概述练习题1【单选题】人类社会的数据产生方式大致经历了三个阶段,不包括________。(2.0分)A、运营式系统阶段B、用户原创内容阶段C、互联网应用阶段D、感知式系统阶段答案:C2【单选题】以下哪个现象不属于大数据的典型特征:(2.0分)A、数据包含噪声及缺失值B、数据量大C、数据类型多D、产生速率高答案:A3【单选题】以下哪项不属于大数据思维的涵盖内容:(2.0分)A、从模型驱动到数据驱动B、通过采样的手段获取目标群体的统计特性C、数原创 2021-11-17 11:04:24 · 9634 阅读 · 0 评论 -
网络爬虫:post和getf方法爬取人民邮电书籍基本信息并存入excel文件
网络爬虫:post和getf方法爬取人民邮电书籍基本信息文章目录网络爬虫:post和getf方法爬取人民邮电书籍基本信息get方法获取基本信息(主要获取bookId)通过bookId,获取书籍价格通过bookId,获取ISbn通过Isbn获取 库存将基本信息存入excel表格完整代码get方法获取基本信息(主要获取bookId)def getList(): url = 'https://www.ptpress.com.cn/recommendBook/getRecommendBookListF原创 2021-11-17 10:43:40 · 1073 阅读 · 0 评论 -
大数据技术第一章:大数据概述
大数据概述1.1.1三次信息化浪潮第一次浪潮:时间:1980年前后标志:个人计算机解决问题:信息处理第二次浪潮:时间:1995年前后标志:互联网解决问题:信息传输第三次浪潮:时间:2010年前后标志:物联网云计算和大数据解决问题:信息爆炸1.1.2 信息科技为大数据时代提供技术支撑需要解决的问题:信息存储,信息传输,信息处理存储设备容量不断增加cpu处理能力大幅度提升网络带宽不断增加正是因为这些科技的进步带来了这三个问题,同时也为解决这三个问题提供了支持原创 2021-10-28 09:32:17 · 5066 阅读 · 0 评论