Qianhuawei0707-CSDN博客

转载 hadoop综合大作业

1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。先启动Hadoop。jps查看各个服务已启动把本地文件上传到hdfs文件系统建个表text把hdfs文件系统中input文件夹里的文本文件load进去,写hiveQL命令统计使用select命令查看结果2.用Hive对爬虫大作业产生的c...

2018-05-25 19:00:00 146

转载 hive基本操作与应用

hive基本操作与应用通过hadoop上的hive完成WordCount启动hadoopcd /usr/local/hadoop/sbinstart-all.shHdfs上创建文件夹hdfs dfs -mkdir wcinputhdfs dfs -ls /user/hadoop上传文件至hdfshdfs dfs -pu...

2018-05-16 20:28:00 202

转载用mapreduce 处理气象数据集

编写程序求每日最高最低气温，区间最高最低气温气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa按学号后三位下载不同年份月份的数据（例如201506110136号同学，就下载2013年以6开头的数据，看具体数据情况稍有变通）解压数据集，并保存在文本文件中对气象数据格式进行解析编写map函数，reduce函数将其权限作...

2018-05-09 21:46:00 238

转载熟悉常用的HBase操作，编写MapReduce作业

1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course）2015001Zhangsanmale...

2018-05-08 17:36:00 183

转载爬虫大作业

对豆瓣读书网进行书评书单推荐简介和推荐链接数据爬取：　　from bs4 import BeautifulSoupimport requestsimport jiebaimport timeimport datetimer = requests.get('https://book.douban.com')lyrics = ''html=r.te...

2018-04-29 16:53:00 123

转载熟悉常用的HDFS操作

编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：1.在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词.cd /usr/local/hadoop　　　　touch test.txt　　2.在本地查看文件位置（ls）ls　　3.在本地显示文件内容...

2018-04-25 19:06:00 707

转载数据结构化与保存

1. 将新闻的正文内容保存到文本文件。f = open('content.txt', 'a', encoding ='utf - 8')# content为文本正文f.write(content)f.close()2. 将新闻数据结构化为字典的列表:news ={}# 读取新闻细节def getNewDetail(detail,titl...

2018-04-12 19:38:00 100

转载获取全部校园新闻

1.取出一个新闻列表页的全部新闻包装成函数。2.获取总的新闻篇数，算出新闻总页数。3.获取全部新闻列表页的全部新闻详情。import requestsimport stringimport refrom datetime import datetimenewsurl='http://news.gzcc.cn/html/xiaoyuanxinwen...

2018-04-11 17:09:00 111

转载爬取校园新闻首页的新闻的详情，使用正则表达式，函数抽离

1.爬取校园新闻首页新闻的标题、链接、正文、show-info。标题：print(soup.select('title'))链接：a=(soup.select('.news-list'))for b in a: c= b.a.attrs['href'] print(c)正文：d = soup.select...

2018-04-04 16:22:00 239

转载网络爬虫

1.取出h1标签的文本import requestsnewsurl='http://localhost:63342/bd/cgc.html?_ijt=r6216qes962k0f6q6ufku7ajkc'res = requests.get(newsurl) #返回response对象res.encoding='utf-8'from bs4 imp...

2018-03-29 12:33:00 101

转载中文词频统计

老师：MissDu提交作业下载一长篇中文文章。从文件读取待分析文本。news = open('gzccnews.txt','r',encoding = 'utf-8')安装与使用jieba进行中文分词。pip install jiebaimport jiebalist(jieba.lcut(news))生成词频统计排序排除语法型...

2018-03-28 16:27:00 99

转载英文词频统计

词频统计预处理下载一首英文的歌词或文章将所有,.？！’:等分隔符全部替换为空格将所有大写转换为小写生成单词列表生成词频统计排序排除语法型词汇，代词、冠词、连词输出词频最大TOP10 f = open('whr.txt','r')music = f.read()# f.close()# 将所有大写转换为小写...

2018-03-26 10:45:00 163

转载 python 基础

import turtleturtle.setup(600, 400, 0, 0)turtle.color("yellow")turtle.bgcolor("red")turtle.fillcolor("yellow")def whr_goto(x, y): turtle.up() turtle.goto(x, y) ...

2018-03-15 14:19:00 93

转载熟悉常用的Linux操作

（1）切换到目录 /usr/localcd /usr/local（2）去到目前的上层目录cd ..（3）回到自己的主文件夹cd ~（4）查看目录/usr下所有的文件ls -al ~（5）进入/tmp目录，创建一个名为a的目录,并查看有多少目录存在cd /tmpmkdir als -l（6）创建目录a1/a2/a3/a4mkdir -p ...

2018-03-14 10:56:00 91

转载大数据论述

1.大数据对思维方式的重要影响大数据的普及，对人类生活中的各个领域都产生着极大的影响。大数据改变了人们的思维方式。大数据下的思维方式是对现有辩证思维方式的一种丰富和完善。关于大数据对思维方式影响的研究，可以使我们能够更加透彻地观察这个时代，同时这种哲学研究还可以对大数据技术的发展起到相辅相成的作用，大数据的发展带来思维方式的变革，思维方式的变革也能够对大数据的发展起到促进和指导的作用...

2018-03-07 12:43:00 396

转载递归下降分析程序

2016-12-17 11:19:00 429

转载 c语言文法和LL1文法

文法： <程序>→begin<语句表>end <语句表>→<语句>|<语句表>;<语句> <语句>→<无条件语句>|<条件语句> <无条件语句>→I<条件语句>→<if语句>|<if语句><else语句> <if语句...

2016-12-06 21:00:00 2118

转载 C语言文法定义及推导

2016-10-28 23:01:00 698

转载实验一：词法分析程序

专业：商业软件工程姓名：吴华锐学号：201506110140一、实验目的编制一个词法分析程序。二、实验内容和要求输入源程序字符串，输出二元组，待分析语言的词法规则。三、实验方法、步骤及结果测试1. 源程序名：压缩包文件（rar或zip）中源程序名词法分析.c可...

2016-10-14 14:46:00 417

转载词法与文法分析程序

1.词法与文法分析程序功能：主要语句：begin<语句串>end输入单词串，以“#”结束，如果是文法正确的句子，则输出成功信息，打印“成功”，否则输出“错误”。2.符号与种别码对照表：单词符号种别码单词符号种别码begin1:17...

2016-09-30 22:06:00 452

转载对编译原理的看法

编译原理就是什么？编译原理是计算机专业的一门重要专业课，旨在介绍编译程序构造的一般原理和基本方法。内容包括语言和文法、词法分析、语法分析、语法制导翻译、中间代码生成、存储管理、代码优化和目标代码生成。编译原理是计算机专业设置的一门重要的专业课程。虽然只有少数人从事编译方面的工作，但是这门课在理论、技术、方法上都对学生提供了系统而有效的训练，...

2016-09-09 15:55:00 175

Qianhuawei0707的博客