- 博客(17)
- 收藏
- 关注
转载 Hadoop综合大作业
1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。在网上下载英文小说,下载到本地home/hadoop/wc首先要启动dfs:在user/hadoop/上创建文件夹EnglishWord:上传下载文档到user/hadoop/EnglishWord文件中:在hive数据库创建表 world:导入文本...
2018-05-25 09:08:00
84
转载 理解Mapreduce
1.用Python编写WordCount程序并提交任务程序WordCount输入一个包含大量单词的文本文件输出文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔编写map函数,reduce函数将其权限作出相应修...
2018-05-10 21:36:00
77
转载 熟悉常用的HBase操作
1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据:学生表(Student)(不包括最后一列)学号(S_No)姓名(S_Name)性别(S_Sex)年龄(S_Age)课程(course)2015001Zhangsanmale...
2018-05-04 21:59:00
184
转载 第三章 熟悉常用的HDFS操作
一、Hadoop提供的Shell命令完成相同任务:在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词.在本地查看文件位置(ls)在本地显示文件内容使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。查看hdfs中的文件(-ls)显示hdfs中该的文件内容删除本地的tx...
2018-04-27 21:11:00
268
转载 爬虫大作业-爬取微博文章
用python 编写爬虫程序,爬取了一篇微博文章,并对数据进行了分析生成词云# coding:utf-8import requestsfrom bs4 import BeautifulSoupimport matplotlib.pyplot as pltfrom wordcloud import WordCloudimport jiebadef myD...
2018-04-24 11:25:00
381
转载 数据结构化与保存
1. 将新闻的正文内容保存到文本文件。def writeNewsDatail(content): f=open('gzccnews1.txt','a',encoding='utf-8') f.write(content) f.close()2. 将新闻数据结构化为字典的列表:单条新闻的详情-->字典news一个...
2018-04-17 20:40:00
103
转载 使用正则表达式,取得点击次数,函数抽离
1. 用正则表达式判定邮箱是否输入正确。import restr=r'^[a-zA-Z0-9]+(\.[a-zA-Z0-9_-]+){0,4}@[a-zA-Z0-9]+(\.[a-zA-Z0-9]+){0,4}$'are=('1924668503@qq.com')if re.match(str,are): print('success')else: ...
2018-04-11 22:57:00
79
转载 爬取校园新闻首页的新闻
1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题、链接、正文。import requestsfrom bs4 import BeautifulSoupurl='http://news.gzcc.cn/html/xiaoyuanxinwen/'res=requests.get(url)res.encoding='utf-8'...
2018-04-02 19:06:00
111
转载 网络爬虫基础练习
import requestsnewsurl = 'http://localhost:56341/bd/123.html?_ijt=7pd1hi6n7j1ue90de4jivbr31k'res = requests.get(newsurl) # 返回response对象res.encoding = 'utf-8'print(res.text)from bs4 i...
2018-03-29 21:21:00
159
转载 综合练习:词频统计
word='''Well I wonder could it be When I was dreaming about you baby You were dreaming of me Call me crazy Call me blind To still be suffering is stupid after all of this time...
2018-03-26 10:59:00
85
转载 组合数据类型练习
a = 'hello'print(a)for i in a: print(i)s = 'this is a string hello'ls = s.split()print(ls)for i in ls: print(i)tup = ('LiLi', 'Jack', 21);print(t)for i in t:...
2018-03-22 20:13:00
125
转载 大数据概述
一、试述大数据对思维方式的重要影响。 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 当今,互联网井喷式快速发展,我们早已步入信息化社会。信息并不匮乏,匮乏的是我们处理信息的能力,我们有限的注意力是组织活动的主要...
2018-03-05 09:50:00
143
转载 实验三 有穷自动机
实验三有穷自动机一、实验目标1、掌握有穷状态自动机的概念;2、掌握有穷状态自动机的存储及表示方法;3、掌握有穷状态自动机与正则式之间的关系。二、实验要求1、输入正规式;...
2016-12-09 16:28:00
515
转载 简易文法
<程序>→<外部声明>|<程序><外部声明><外部声明>→<函数定义>|<声明><函数定义>→<类型说明><声明符><符合语句><类型说明>→<void>|<char>|<int>|<floa...
2016-10-28 16:53:00
104
转载 实验一、词法分析
实验一、词法分析一、 实验目的编制一个词法分析程序二、 实验内容和要求输入:源程序字符串输出:二元组(种别,单词本身)待分析语言的词法规则三、实验方法、步骤及结果测...
2016-10-14 17:30:00
210
转载 词法分析程序
1 #include <stdio.h> 2 #include <string.h> 3 char prog[30],token[5],ch; 4 int syn,p,m,n,sum; 5 char *rwtab[6]={"begin","if","then","while","do","end"}; 6 sca...
2016-09-30 17:30:00
69
转载 编译原理学习随笔
编译原理就是什么?编译原理是计算机必修的一门重要学科。编译原理及技术从本质上来讲就是一个算法问题而已,当然由于这个问题十分复杂,其解决算法也相对复杂。 我们学的数据结构与算法分析也是讲算法的,不过讲的基础算法,换句话说讲的是算法导论,而编译原理这门课程讲的就是比较专注解决一种的算法了。学习编译原理有什么好处?可以大大提高我们的编程能力,能更好的了解计算机内部运行结果,对进一...
2016-09-09 17:35:00
97
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人