ddz8524-CSDN博客

转载 Hadoop综合大作业

本次作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/33631.将爬虫大作业产生的csv文件上传到HDFS2.对CSV文件进行预处理生成无标题文本文件3.把hdfs中的文本文件最终导入到数据仓库Hive中4.在Hive中查看并分析数据...

2019-06-20 21:57:00 324

转载分布式文件系统HDFS 练习

本次作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310一.目录操作1. 在HDFS中为hadoop用户创建一个用户目录（hadoop用户）2. 在用户目录下创建一个input目录3. 在HDFS的根目录下创建一个名称为input的目录4. 删除HDFS根目录...

2019-06-02 22:25:00 373

转载安装Hadoop

作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223一. 安装Linux，MySql 1. 安装Oracle VM VirtualBox虚拟机，创建并配置Ubuntu(64 bit) ,安装配置参考http://dblab.xmu.edu.cn/blog/337-2/ 2.安装Lin...

2019-05-16 20:36:00 140

转载爬虫综合大作业

本次作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159一.把爬取的内容保存到数据库sqlite31. 用pandas读出之前保存的数据：newsdf = pd.read_csv(r'F:\wyt\gzccnews.csv')2.把爬取的内容保存到数据库sqlite3...

2019-05-09 21:58:00 296

转载爬取全部的校园新闻

本次作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/30021.从新闻url获取点击次数，并整理成函数newsUrlnewsId(re.search())clickUrl(str.format())requests.get(clickUrl)re.search()/.split()...

2019-04-13 21:39:00 80

转载理解爬虫原理

本次作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/28811. 简单说明爬虫原理就是通过程序模拟浏览器请求站点的行为，把站点返回的html代码/Json数据/二进制数据（图片、视频）爬到本地，进而提取自己需要的数据，存放起来使用。2. 理解爬虫开发过程 1).简要说明浏览...

2019-04-01 21:00:00 86

转载中文词频统计与词云生成

本次作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822中文词频统计：1. 下载一长篇中文小说。2. 从文件读取待分析文本。def get_text(file): fp=open(file,'r',encoding='utf-8').read() stop_w...

2019-03-25 19:10:00 505

转载复合数据类型，英文词频统计

这次作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753一. 列表，元组，字典，集合分别如何增删改查及遍历。 1.列表list = [1, 2, 3, 4, 5, 6, 7 ]; #创建列表listprint("列表为", list) #输出list列表print()...

2019-03-25 00:36:00 86

转载字符串操作、文件操作，英文词频统计预处理

作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/26841.字符串操作：解析身份证号：生日、性别、出生地等ID = input('请输入十八位身份证号码: ')if len(ID) == 18: print("你的身份证号码是 " + ID)else: pri...

2019-03-11 21:45:00 110

转载了解大数据的特点、来源与数据呈现方式

本次作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639一.浏览2019春节各种大数据分析报告，例如:这世间，再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313993春节人口迁徙大数据报告！http://www.sohu.com...

2019-03-04 21:02:00 241

转载结对项目-四则运算 “软件”之升级版

作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2213GitHub地址：https://github.com/yuxuan111/zyx一、基本要求：自动生成题目，单个题目最多不能超过4个运算符，操作数小于100。用户可以输入答案。若用户输入答案正确，则提示正确；若答案错误，则提示错误，并...

2018-10-24 21:31:00 137

转载第三次作业：个人项目-小学四则运算 “软件”之初版

作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2166我的GitHub：https://github.com/WangYongTai/gittest一、项目要求：使用编程语言，命令行程序接受一个数字输入，然后输出相应数目的四则运算题目和答案。例如输入数字是 30，那就输出 ...

2018-10-10 11:19:00 107

转载分布式版本控制系统Git的安装与使用

这次作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/21031.安装Git bash软件和安装notepad++2.运用Git bash，修改用户名和邮箱地址3.查看用户名和邮箱4.将gittest空目录设置为仓库目录5.在Notepad++环境下创建文件...

2018-09-16 21:49:00 67

转载第一次作业-准备

这次作业要求来源于：https://www.cnblogs.com/greyzeng/p/9581624.html你为何要来上课并且认真参与？来源于：http://www.scalerstalk.com/816-attention 大学生上课为什么一定要认真听讲？既然你作为一个学生，就有上课认真听讲的义务。如果你一味地在上课过程中聊天说话，就不要来影响其他同学了...

2018-09-09 21:49:00 106

ddz8524的博客