aiwei1121-CSDN博客

转载 Hadoop综合大作业

1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。在网上下载英文小说，下载到本地home/hadoop/wc首先要启动dfs：在user/hadoop/上创建文件夹EnglishWord：上传下载文档到user/hadoop/EnglishWord文件中：在hive数据库创建表 world：导入文本...

2018-05-25 09:08:00 84

转载理解Mapreduce

1.用Python编写WordCount程序并提交任务程序WordCount输入一个包含大量单词的文本文件输出文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔编写map函数，reduce函数将其权限作出相应修...

2018-05-10 21:36:00 77

转载熟悉常用的HBase操作

1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course）2015001Zhangsanmale...

2018-05-04 21:59:00 184

转载第三章熟悉常用的HDFS操作

一、Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词.在本地查看文件位置（ls）在本地显示文件内容使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。查看hdfs中的文件(-ls)显示hdfs中该的文件内容删除本地的tx...

2018-04-27 21:11:00 268

转载爬虫大作业-爬取微博文章

用python 编写爬虫程序，爬取了一篇微博文章，并对数据进行了分析生成词云# coding:utf-8import requestsfrom bs4 import BeautifulSoupimport matplotlib.pyplot as pltfrom wordcloud import WordCloudimport jiebadef myD...

2018-04-24 11:25:00 381

转载数据结构化与保存

1. 将新闻的正文内容保存到文本文件。def writeNewsDatail(content): f=open('gzccnews1.txt','a',encoding='utf-8') f.write(content) f.close()2. 将新闻数据结构化为字典的列表:单条新闻的详情-->字典news一个...

2018-04-17 20:40:00 103

转载使用正则表达式，取得点击次数，函数抽离

1. 用正则表达式判定邮箱是否输入正确。import restr=r'^[a-zA-Z0-9]+(\.[a-zA-Z0-9_-]+){0,4}@[a-zA-Z0-9]+(\.[a-zA-Z0-9]+){0,4}$'are=('1924668503@qq.com')if re.match(str,are): print('success')else: ...

2018-04-11 22:57:00 79

转载爬取校园新闻首页的新闻

1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。import requestsfrom bs4 import BeautifulSoupurl='http://news.gzcc.cn/html/xiaoyuanxinwen/'res=requests.get(url)res.encoding='utf-8'...

2018-04-02 19:06:00 111

转载网络爬虫基础练习

import requestsnewsurl = 'http://localhost:56341/bd/123.html?_ijt=7pd1hi6n7j1ue90de4jivbr31k'res = requests.get(newsurl) # 返回response对象res.encoding = 'utf-8'print(res.text)from bs4 i...

2018-03-29 21:21:00 159

转载综合练习：词频统计

word='''Well I wonder could it be　　When I was dreaming about you baby　　You were dreaming of me　　Call me crazy　　Call me blind　　To still be suffering is stupid after all of this time...

2018-03-26 10:59:00 85

转载组合数据类型练习

a = 'hello'print(a)for i in a: print(i)s = 'this is a string hello'ls = s.split()print(ls)for i in ls: print(i)tup = ('LiLi', 'Jack', 21);print(t)for i in t:...

2018-03-22 20:13:00 125

转载大数据概述

一、试述大数据对思维方式的重要影响。大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。当今，互联网井喷式快速发展，我们早已步入信息化社会。信息并不匮乏，匮乏的是我们处理信息的能力，我们有限的注意力是组织活动的主要...

2018-03-05 09:50:00 143

转载实验三有穷自动机

实验三有穷自动机一、实验目标1、掌握有穷状态自动机的概念；2、掌握有穷状态自动机的存储及表示方法；3、掌握有穷状态自动机与正则式之间的关系。二、实验要求1、输入正规式；...

2016-12-09 16:28:00 515

转载简易文法

2016-10-28 16:53:00 104

转载实验一、词法分析

实验一、词法分析一、实验目的编制一个词法分析程序二、实验内容和要求输入：源程序字符串输出：二元组（种别，单词本身）待分析语言的词法规则三、实验方法、步骤及结果测...

2016-10-14 17:30:00 210

转载词法分析程序

1 #include <stdio.h> 2 #include <string.h> 3 char prog[30],token[5],ch; 4 int syn,p,m,n,sum; 5 char *rwtab[6]={"begin","if","then","while","do","end"}; 6 sca...

2016-09-30 17:30:00 69

转载编译原理学习随笔

编译原理就是什么？编译原理是计算机必修的一门重要学科。编译原理及技术从本质上来讲就是一个算法问题而已，当然由于这个问题十分复杂，其解决算法也相对复杂。我们学的数据结构与算法分析也是讲算法的，不过讲的基础算法，换句话说讲的是算法导论，而编译原理这门课程讲的就是比较专注解决一种的算法了。学习编译原理有什么好处？可以大大提高我们的编程能力，能更好的了解计算机内部运行结果，对进一...

2016-09-09 17:35:00 97

aiwei1121的博客