- 博客(18)
- 收藏
- 关注
转载 Hadoop综合大作业
1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。 2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计,结果放在表word_count里 查看统计结果 转载于:https...
2018-05-25 20:17:00
85
转载 理解MapReduce
2. 用mapreduce 处理气象数据集 编写程序求每日最高最低气温,区间最高最低气温 气象数据集下载地址为:ftp://ftp.ncdc.noaa.gov/pub/data/noaa 按学号后三位下载不同年份月份的数据(例如201506110136号同学,就下载2013年以6开头的数据,看具体数据情况稍有变通) 解压数据集,并保存在文本文件中 对气象数据格式进行解析...
2018-05-09 21:08:00
63
转载 熟悉常用的HBase操作
1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) create 'Student', ' S_No ','S_Name', ’S_Sex’,'S_Age' put 'Student','s001','S_No','2015001' put 'Student','s001','S_Name','lg...
2018-05-09 20:36:00
119
转载 熟悉常用的HDFS操作
一、Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置(ls) 在本地显示文件内容 cd /home/hadoop/ touch test.txt cat temp.txt 4.使用命令把本地文件系统中的“...
2018-04-27 21:50:00
80
转载 爬虫大作业
选一个自己感兴趣的主题或网站。 2.用python 编写爬虫程序,从网络上爬取相关主题的数据。 3.对爬了的数据进行文本分析,生成词云。 4.对文本分析结果进行解释说明。 5.写一篇完整的博客,描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6.最后提交爬取的全部数据、爬虫及数据分析源代码。 主题 虎扑新闻热榜 全部代码与过程 文本分析 import r...
2018-04-25 00:25:00
121
转载 数据化结构与保存
import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport reimport pandas #获取点击次数def getClickCount(newsUrl): newId=re.search('\_(.*).html',newsUrl).group(1).split('/')...
2018-04-17 19:46:00
69
转载 使用正则表达式,取得点击次数,函数抽离
1.import re;def isEmailAccount(str): if(re.match("\w*@\w*(\.\w{2,3}){1,3}$",str)): return True else: return Falseprint(isEmailAccount('123sdf_sd@qq.com.cm'))print(isEmailAccou...
2018-04-09 21:55:00
67
转载 爬取校园新闻首页的新闻
1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题、链接、正文。 import requests from bs4 import BeautifulSoup url = 'http://news.gzcc.cn/html/xiaoyuanxinwen/' res = requests.get(url) res.enco...
2018-04-02 20:09:00
89
转载 网络爬虫基础练习
0.可以新建一个用于练习的html文件,在浏览器中打开。 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> ...
2018-04-02 20:01:00
125
转载 组合数据类型综合练习:英文词频统计
1.组合数据类型练习: 分别定义字符串,列表,元组,字典,集合,并进行遍历 a ="You are a bad boy" b ="12345" # 字符串 str0 =a; print("字符串:", str0) fori instr0: print(i) # 列表 str1 =a.split() print("列表") fori in...
2018-03-26 20:49:00
53
转载 组合数据类型练习
#字符串str = 'abcd123'for i in str: print(i)#列表list = ['Hello', 'World', 444]for i in list: print(i)#元组tuple = ('Hello', 'World',444)for i in tuple: print(i)#字典tinydict = {'Hello':'World'...
2018-03-22 16:50:00
76
转载 Python基础综合练习
import turtle turtle.bgcolor("red") turtle.fillcolor("yellow") turtle.color('yellow') turtle.speed(10) #主星 turtle.up() turtle.goto(-300,220) turtle.down() turtle.begin_fill() for i ...
2018-03-19 22:06:00
58
转载 熟悉常用的linux操作
请按要求上机实践如下linux基本命令。 cd命令:切换目录 (1)切换到目录 /usr/local su cd /usr/local (2)去到目前的上层目录 cd .. (3)回到自己的主文件夹 cd ~ ls命令:查看文件与目录 ls (4)查看目录/usr下所有的文件 cd /usr l...
2018-03-12 14:54:00
75
转载 大数据概述
大数据(big data),或称巨量资料,指的是海量的、高增长率的和多样化的信息资产。不是超过某个特定数量级的数据集才是大数据,而是规模超过现有数据库工具获取、存储、管理和分析能力的数据集才称为大数据。 大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过...
2018-03-08 10:30:00
148
转载 C语言文法
<源函数> → <外部声明> | <源程序> <外部声明> <外部声明> → <函数定义> | <定义> <函数定义> → <类型标识符> <声明部分语句> <标识符类型> → <无类型> | <字符> | <整型&g...
2016-11-04 16:37:00
58
转载 实验一词法分析试验报告
实验一、词法分析实验 专业:商业软件工程 姓名:林海鑫 学号:201506110120 一、 实验目的 (1)掌握词法分析程序的实现方法。 (2)用C语言对一个简单语言的子集编制一个一遍扫锚的编译理解,掌握编译程序的实现方法和技术。 (3)理解词法分析在编译程序中的作用。 (4)加深对有穷自动机模型的理解。 二、 实验内容和要求 1,词法...
2016-10-14 18:44:00
245
转载 词法分析
#include <stdio.h> #include <string.h> #include <stdlib.h> char prog[80],token[8],ch; int syn,p,m,n,sum; char *rwtab[6]={"begin","if","then","while","do","end"}; scaner...
2016-09-30 22:05:00
71
转载 编译原理小议
编译原理简而言之就是如何让自己编写的程序让电脑识别。编译原理是个好东西,也是个坏东西。坏东西呢?对于不知道它在讲什么的人,就是一个魔咒。好东西呢?这是一个高大上的东西,是可以让我们在之前学习的基础上提升,质变。如果没有该课程的学习,我们的知识架构就会非常空洞。但是学习重要一个方法的问题,好好上课是必不可少的,与老师同学交流,或者上网与大牛交流。这就是我的观点。 转载于:https...
2016-09-09 17:25:00
64
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人