andy20140000-CSDN博客

转载 Hadoop综合大作业

Hadoop综合大作业要求： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 2.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。转载于:https://www.cnblogs.com/wollen-...

2018-05-24 19:02:00 116

转载理解Mapreduce

1.用Python编写WordCount程序并提交任务程序 WordCount 输入一个包含大量单词的文本文件输出文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 2.编写map函数，reduce函数 import ...

2018-05-10 17:32:00 82

转载熟悉常用的Hbase操作

1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course） 2015001 Zhangsan male 23...

2018-05-04 20:01:00 188

转载第三章熟悉常用的HDFS操作

一、Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. mkdir hadoop 在本地查看文件位置（ls） cd hadoop 在本地显示文件内容 touch zwt.txt gedit zwt.txt 使用命令把本地文件系统...

2018-04-26 10:59:00 125

转载爬取豆瓣电影影评--移动迷宫3

准备工作： 1.登录豆瓣网，找到移动迷宫三，获取评论的地址：https://movie.douban.com/subject/26004132/comments?status=P 2.登录账号，打开开发者工具，获取User-Agent agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 ...

2018-04-18 21:57:00 482

转载数据结构化与保存

1. 将新闻的正文内容保存到文本文件。 def writeNewsDetail(content): f=open('gzcc.txt','a',encoding='utf-8') f.write(content) f.close() 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-...

2018-04-16 14:37:00 281

转载使用正则表达式，取得点击次数，函数抽离

1. 用正则表达式判定邮箱是否输入正确。 import re def validateEmail(email): if len(email) > 7: if re.match("^.+\\@(\\[?)[a-zA-Z0-9\\-\\.]+\\.([a-zA-Z]{2,3}|[0-9]{1,3})(\\]?)$", email) != ...

2018-04-09 11:27:00 61

转载爬取校园新闻首页的新闻

1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。 import requests from bs4 import BeautifulSoup url = 'http://news.gzcc.cn/html/xiaoyuanxinwen/' res = requests.get(url) res.encoding = 'u...

2018-04-02 11:25:00 155

转载网络爬虫基础练习

1.利用requests.get(url)获取网页页面的html文件 import requests newsurl='http://news.gzcc.cn/html/xiaoyuanxinwen/' res = requests.get(newsurl) #返回response对象 res.encoding='utf-8' 2.利用BeautifulSoup的HT...

2018-03-29 11:41:00 82

转载综合练习：词频统计

song = ''' Twinkle, twinkle, little star, How I wonder what you are. Up above the world so high, Like a diamond in the sky. Twinkle, twinkle, little star, How I wonder what you are! When the b...

2018-03-26 11:05:00 72

转载组合数据类型练习，综合练习

1.组合数据类型练习：分别定义字符串，列表，元组，字典，集合，并进行遍历。 1.定义字符串，并进行遍历 str="wollen" for i in str: print(i) 2.定义列表，并进行遍历 a = ['w','o','l','l','o','n'] for i in a: print(i) 3.定义元祖，并进行遍历 ...

2018-03-22 11:36:00 249

转载 Python基础综合练习

from turtle import * def goto1(x, y): up() goto(x, y) down() def draw(r): begin_fill() for i in range(5): forward(r) right(144) end_fil...

2018-03-19 09:28:00 302

转载熟悉常用的Linux操作

请按要求上机实践如下linux基本命令。 cd命令：切换目录（1）切换到目录 /usr/local cd /usr/local （2）去到目前的上层目录 cd .. （3）回到自己的主文件夹 cd ~ ls命令：查看文件与目录（4）查看目录/usr下所有的文件 cd /usr ls mkdir命令：新建新目录（5）进入/tmp...

2018-03-12 10:30:00 78

转载大数据概述

1.试述大数据对思维方式的重要影响。大数据无处不在，包括金融，汽车，零售，餐饮，电信，能源，政务，医疗，体育，娱乐等在内的社会各行各业都已经融入大数据的印记。从数据到生成的消耗，时间窗口非常小，可用于生成决策的时间非常少。大数据不仅仅是一个数据，它已经成为一个完整的主题，涉及各种工具，技术和框架。大数据技术在提供更准确的分析方面很重要，这可能导致更具体的决策，从而提高业务效...

2018-03-05 10:03:00 289

转载递归下降分析

递归下降分析商软一班曾婉婷 201506110136 四、程序代码： 1 #include<stdio.h> 2 char string[10]; 3 int index=0; 4 void E(); //E->TE1; 5 void X(); //X->+TE1...

2016-12-19 21:07:00 197

转载 LL(1)文法

<program>-><external_declaration> | <program> <external_declaration> <external_declaration> -><function_definition> | <declaration> <functio...

2016-12-06 10:27:00 111

转载文法分析

<源程序> → <外部声明> | <源程序> <外部声明> <外部声明> → <函数定义> | <定义> <函数定义> → <类型标识符> <声明部分语句> <标识符类型> → <无类型> | <字符> | <整型&g...

2016-10-28 17:45:00 81

转载算法分析实验报告

文件：https://pan.baidu.com/s/1jInszDs 实验一、词法分析实验商业软件工程专业曾婉婷 201506110136 一、实验目的通过设计一个词法分析程序，对词法进行分析，加强对词法的理解，掌握对程序设计语言的分解和理解。二、实验内容和要求在原程序中输入源代码对字符串表示的源程序从左到右进行扫描和分解 ...

2016-10-11 21:36:00 1084

转载词法分析

#include <stdio.h>#include <string.h> char string[80],simbol[8],ch;int wordID,index,m,n,sum;char *rwtab[6]={"begin","if","then","while","do","end"}; void scaner(void); main(){ i...

2016-09-30 17:43:00 70

转载编译原理

做为一个刚开始学习编译原理的学生，对编译原理的概念并不太清晰，对于一门语言的课程来说，也许刚开始有点枯燥，概念也是相对的比较抽象。编译原理这一个新的科目，会让我对代码由一个新的认识，对代码的编译有更加高的要求。可以在其中学习到在寄存器分配中将会使用到贪心算法，死代码消除中将会使用到图论算法，词法分析与语法分析中使用到有限状态机与递归下降这样的重要思想等等，编译原理学过之后的益...

2016-09-09 17:26:00 86

andy20140000的博客