anduhua0932-CSDN博客

转载大数据应用期末总评

作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339前言：在上次的大作业中，我们已经爬取了豆瓣网的电影排行，包括电影名，图片链接，演员，印象，评分及评价数。同时又在这基础上对热门影片的短评进行提取，从而去了解观众们的喜爱！为我们的数据分析做下基础。详情请见于：https://www.cnblogs.co...

2019-06-18 10:35:00 194

转载分布式并行计算MapReduce

作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/33191.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。答：MapReduce顾义为大量数据的高效处理，其功能：1）数据划分和计算任务调度：2）数据/代码互定位：3）系统优化：4）出错检测和恢复：工作原理：...

2019-06-05 22:39:00 258

转载分布式文件系统HDFS 练习

作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292利用Shell命令与HDFS进行交互以”./bin/dfs dfs”开头的Shell命令方式1.目录操作在HDFS中为hadoop用户创建一个用户目录（hadoop用户）在用户目录下创建一个input目录在HDFS的根目录下创建一个...

2019-05-31 15:13:00 160

转载安装关系型数据库MySQL 安装大数据处理框架Hadoop

一、Hadoop平台的起源1.hadoop是什么Hadoop：适合大数据的分布式存储和计算平台Hadoop不是指具体一个框架或者组件，它是Apache软件基金会下用Java语言开发的一个开源分布式计算平台。实现在大量计算机组成的集群中对海量　据进行分布式计算。适合大数据的分布式存储和计算平台。Hadoop1.x中包括两个核心组件：MapReduce和Hadoop Distr...

2019-05-12 17:45:00 127

转载爬虫综合大作业

作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 新世纪以来，越来越多的人会走出房间，迈向电影院。观看那一幕幕或惊心动魄，或温情的影片，那么电影对于我们来说存在的意义又是什么？有人说娱乐自我，放松心情；有人说要在影视的虚幻中得到安慰，以此来满足内心的梦魇；还有人回答我，要在别人的人生经历...

2019-04-28 21:35:00 250

转载爬取全部的校园新闻

作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/29411.从新闻url获取新闻详情：字典,anews2.从列表页的url获取新闻url：列表append(字典) alistimport requestsfrom bs4 import BeautifulSoupfrom datetim...

2019-04-12 20:53:00 100

转载获取一篇新闻的全部信息

作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894给定一篇新闻的链接newsUrl，获取该新闻的全部信息标题、作者、发布单位、审核、来源发布时间:转换成datetime类型点击：newsUrlnewsId(使用正则表达式re)clickUrl(str.format(newsId...

2019-04-03 21:07:00 108

转载理解爬虫原理

作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/28511. 简单说明爬虫原理答：从本质层面来说就是在众多大数据面前提取出有用有价值的数据，方便我们去提取使用。从技术层面来说就是通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频）爬到本地，进而提取自己需要...

2019-03-27 20:33:00 130

转载中文词频统计

1. 下载一长篇中文小说。2. 从文件读取待分析文本。3. 安装并使用jieba进行中文分词。pip install jiebaimport jiebaljieba.lcut(text)4. 更新词库，加入所分析对象的专业词汇。jieba.add_word('天罡北斗阵') #逐个添加jieba.load_userdict(word_dict) #词库...

2019-03-18 20:01:00 132

转载复合数据类型，英文词频统计

1.列表，元组，字典，集合分别如何增删改查及遍历。（1）列表# # -*- coding: utf-8 -*-list = ['a', 'b', 2019, 'c']print("list的类型：", type(list))print("list[2]:", list[2])print("list[1:2]:", list[1:3])print("list...

2019-03-14 18:12:00 74

转载字符串、文件操作，英文词频统计预处理

1.字符串操作：解析身份证号：生日、性别、出生地等。主要代码如下：# # -*- coding: utf-8 -*-import repattern = r"^[1-6]\d{5}[12]\d{3}(0[1-9]|1[12])(0[1-9]|1[0-9]|2[0-9]|3[01])\d{3}(\d|X|x)$"ID = input("请输入身份证号:")...

2019-03-06 17:21:00 91

转载了解大数据的特点、来源与数据呈现方式

1.浏览2019春节各种大数据分析报告，例如：这世间，再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313993春节人口迁徙大数据报告！http://www.sohu.com/a/293854116_679156春节大数据:消费首破万亿最佳伴手礼竟是教辅书?http://news.163.com/19/021...

2019-02-25 21:08:00 186

转载第五次作业-结对项目四则运算 “软件”之升级版

这个作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2232我的的GitHub远程仓库地址为：https://github.com/sheep5250/zy一、题目要求　　从个人项目出发，将程序改装成一个单机带用户界面（不是控制台）的程序，这个程序最基本要达到：　　生成题目，单个题目最多不能...

2018-10-29 13:50:00 137

转载第四次作业：个人项目-小学四则运算 “软件”之初版

作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2186远程仓库地址：https://github.com/sheep5250/zy一、题目要求：像《构建之法》的人物阿超那样，写一个能自动生成小学四则运算题目的命令行 “软件”。具体要求：任何编程语言都可以，命令行程序接受一个数字输入，然后输出相...

2018-10-15 13:41:00 121

转载读《构建之法》1-5章有感

这个作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2178第一章：概论　　在以往的学习当中，我们可得知软件是由程序和软件工程组成，即软件=程序+软件工程。而程序则又由数据结构和算法组成。而这一章则更加具体生动形象的向我们展示了软件的组成，同时也表明了软件的特殊性，软件工程与计算机科学的关系，软件工...

2018-10-08 00:34:00 112

转载第二次作业——分布式版本控制系统Git的安装与使用

作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2097远程仓库地址是：https://github.com/sheep5250/zy.git一.下载安装配置用户名和邮箱。 1.修改用户名和邮箱地址： 2.查看用户名和邮箱地址：　　二. 创建工作目录并通过git in...

2018-09-16 21:42:00 96

转载第一次作业——感想

这个作业的要求来自于：https://www.cnblogs.com/greyzeng/p/9581624.html 一眨眼，我已踏上了大三的学习之路，对于我而已，这两年的时间使我改变了很多，也受益匪浅。我们早已告别了高中生活那种循规蹈矩的学习方式。大学为我们提供了非常丰富的能力培养机会和广阔的个人发展空间，同时这也说明了再也没有人来左右你学习的事，毕竟我们是一群即将踏...

2018-09-08 20:16:00 187

anduhua0932的博客