aozhe15848-CSDN博客

转载 Hadoop综合大作业

Hadoop综合大作业作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 Hadoop综合大作业要求： 1.对CSV文件进行预处理生成无标题文本文件，将爬虫大作业产生的csv文件上传到HDFS 2.把hdfs中的文本文件最终导入到数据仓库Hive中其次，把hdfs...

2019-06-20 20:46:00 123

转载分布式文件系统HDFS 练习

本次作业的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 1.目录操作在HDFS中为hadoop用户创建一个用户目录（hadoop用户）在用户目录下创建一个input目录在HDFS的根目录下创建一个名称为input的目录删除HDFS根目录中的“input”目...

2019-06-04 22:44:00 83

转载安装Hadoop

作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 1.安装Linux，MySql 2.windows 与虚拟机互传文件 3.安装Hadoop 转载于:https://www.cnblogs.com/hujialin/p/10875670.ht...

2019-05-16 21:54:00 78

转载爬虫综合大作业

一.设置合理的user-agent，模拟成真实的浏览器去提取内容 # 设置合理的user-agent，爬取数据函数 def getData(url): headers = [ { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36...

2019-05-09 14:12:00 113

转载爬取全部的校园新闻

1.从新闻url获取新闻详情：字典,anews import requests from bs4 import BeautifulSoup from datetime import datetime import re def click(url): id=re.findall('(\d{1,5})',url)[-1] clickUrl='http...

2019-04-15 20:16:00 130

转载理解爬虫原理

1.简单说明爬虫原理什么是爬虫？爬虫：请求网站并提取数据的自动化程序百科：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。爬虫原理：模拟计算机对服务器发起Request请求；接收服务器的Response内容并解...

2019-04-02 10:25:00 84

转载中文词频统计与词云生成

中文词频统计 1. 下载一长篇中文小说。月牙儿老舍 2. 从文件读取待分析文本。 text = open('zh.txt',encoding='UTF-8').read() 　　 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba jieba.lcut(text) 4. 更新词库，...

2019-03-25 21:16:00 156

转载复合数据类型，英文词频统计

1.列表，元组，字典，集合分别如何增删改查及遍历。（1）列表 # 增# append:末尾添加a = ['A', 'B', 'C']a.append('D')print(a)# insert:指定位置添加a = ['A', 'B', 'C']a.insert(2, 'D')print(a)# extend:分解在末尾添加a = ['A', 'B', 'C']a.extend('...

2019-03-22 17:40:00 56

转载字符串操作、文件操作，英文词频统计预处理

1.字符串操作：解析身份证号：生日、性别、出生地等。凯撒密码编码与解码网址观察与批量生成（1）解析身份证号： str=""" 440000 广东省 440100 　　广州市 440103 　　荔湾区 440104 　　越秀区 440105 　　海珠区 440106 　　天河区 440111 　　白云区 440112 　　黄埔区 44...

2019-03-08 17:36:00 71

转载了解大数据的特点、来源与数据呈现方式

1.浏览2019春节各种大数据分析报告，例如：这世间，再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313993 春节人口迁徙大数据报告！http://www.sohu.com/a/293854116_679156 春节大数据:消费首破万亿最佳伴手礼竟是教辅书? http://news.163.com...

2019-03-01 17:15:00 131

转载结对项目-四则运算 “软件”之升级版

作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2213 GitHub远程地址：https://github.com/HJIALIN0/HJL 一、基本要求从个人项目出发，将程序改造成一个单机带用户界面（不是控制台）的程序，这个程序最基本要达到： 1.自动生成题目，单个题目最多不能超过4个...

2018-10-24 20:48:00 56

转载第三次作业：个人项目-小学四则运算 “软件”之初版

本次作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2166 一、题目要求：任何编程语言都可以，命令行程序接受一个数字输入，然后输出相应数目的四则运算题目和答案。例如输入数字是 30，那就输出 30 道题目和答案。运算式子必须至少有两个运算符，运算数字是在 100 之内的正整数，答案不能是...

2018-10-10 11:39:00 116

转载分布式版本控制系统Git的安装与使用

作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2103 远程仓库地址是：https://github.com/HJIALIN0 1.下载安装配置用户名和邮箱。 2. 创建工作目录并通过git init命令把这个目录变成Git可以管理的仓库。 ①创建新的文件夹rg02 ②进入rg...

2018-09-16 19:24:00 49

转载第一次作业

作业要求源于：https://www.cnblogs.com/greyzeng/p/9581624.html 你为何来上课并认真学习？来源 >http://www.scalerstalk.com/816-attention 很多人总是觉得大学生不同于以前的初中高中生一样需要认真听课、为中高考去奋斗，认为经历了高考后在大学就应该好好的放松自己，无需像以...

2018-09-09 22:03:00 67

aozhe15848的专栏