aoxue4029-CSDN博客

转载 Hadoop综合大作业

1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 2.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。创建原始文档表导入文件内容到表docs并查看用HQL进行词频统计，结果放在表word_count里查看统计结果转载于:https...

2018-05-25 20:17:00 85

转载理解MapReduce

2. 用mapreduce 处理气象数据集编写程序求每日最高最低气温，区间最高最低气温气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa 按学号后三位下载不同年份月份的数据（例如201506110136号同学，就下载2013年以6开头的数据，看具体数据情况稍有变通）解压数据集，并保存在文本文件中对气象数据格式进行解析...

2018-05-09 21:08:00 63

转载熟悉常用的HBase操作

1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列） create 'Student', ' S_No ','S_Name', ’S_Sex’,'S_Age' put 'Student','s001','S_No','2015001' put 'Student','s001','S_Name','lg...

2018-05-09 20:36:00 119

转载熟悉常用的HDFS操作

一、Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls）在本地显示文件内容 cd /home/hadoop/ touch test.txt cat temp.txt 4.使用命令把本地文件系统中的“...

2018-04-27 21:50:00 80

转载爬虫大作业

选一个自己感兴趣的主题或网站。 2.用python 编写爬虫程序，从网络上爬取相关主题的数据。 3.对爬了的数据进行文本分析，生成词云。 4.对文本分析结果进行解释说明。 5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6.最后提交爬取的全部数据、爬虫及数据分析源代码。主题虎扑新闻热榜全部代码与过程文本分析 import r...

2018-04-25 00:25:00 121

转载数据化结构与保存

import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport reimport pandas #获取点击次数def getClickCount(newsUrl): newId=re.search('\_(.*).html',newsUrl).group(1).split('/')...

2018-04-17 19:46:00 69

转载使用正则表达式，取得点击次数，函数抽离

1.import re;def isEmailAccount(str): if(re.match("\w*@\w*(\.\w{2,3}){1,3}$",str)): return True else: return Falseprint(isEmailAccount('123sdf_sd@qq.com.cm'))print(isEmailAccou...

2018-04-09 21:55:00 67

转载爬取校园新闻首页的新闻

1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。 import requests from bs4 import BeautifulSoup url = 'http://news.gzcc.cn/html/xiaoyuanxinwen/' res = requests.get(url) res.enco...

2018-04-02 20:09:00 89

转载网络爬虫基础练习

　0.可以新建一个用于练习的html文件，在浏览器中打开。 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> ...

2018-04-02 20:01:00 125

转载组合数据类型综合练习：英文词频统计

1.组合数据类型练习：分别定义字符串，列表，元组，字典，集合，并进行遍历 a ="You are a bad boy" b ="12345" # 字符串 str0 =a; print("字符串：", str0) fori instr0: print(i) # 列表 str1 =a.split() print("列表") fori in...

2018-03-26 20:49:00 53

转载组合数据类型练习

#字符串str = 'abcd123'for i in str: print(i)#列表list = ['Hello', 'World', 444]for i in list: print(i)#元组tuple = ('Hello', 'World',444)for i in tuple: print(i)#字典tinydict = {'Hello':'World'...

2018-03-22 16:50:00 76

转载 Python基础综合练习

import turtle turtle.bgcolor("red") turtle.fillcolor("yellow") turtle.color('yellow') turtle.speed(10) #主星 turtle.up() turtle.goto(-300,220) turtle.down() turtle.begin_fill() for i ...

2018-03-19 22:06:00 58

转载熟悉常用的linux操作

请按要求上机实践如下linux基本命令。 cd命令：切换目录（1）切换到目录 /usr/local 　　su 　　cd /usr/local （2）去到目前的上层目录　　cd .. （3）回到自己的主文件夹　　cd ~ ls命令：查看文件与目录　　ls （4）查看目录/usr下所有的文件　　cd /usr 　　l...

2018-03-12 14:54:00 75

转载大数据概述

大数据(big data)，或称巨量资料，指的是海量的、高增长率的和多样化的信息资产。不是超过某个特定数量级的数据集才是大数据，而是规模超过现有数据库工具获取、存储、管理和分析能力的数据集才称为大数据。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过...

2018-03-08 10:30:00 148

转载 C语言文法

<源函数> → <外部声明> | <源程序> <外部声明> <外部声明> → <函数定义> | <定义> <函数定义> → <类型标识符> <声明部分语句> <标识符类型> → <无类型> | <字符> | <整型&g...

2016-11-04 16:37:00 58

转载实验一词法分析试验报告

实验一、词法分析实验专业：商业软件工程姓名：林海鑫学号：201506110120 一、实验目的（1）掌握词法分析程序的实现方法。（2）用C语言对一个简单语言的子集编制一个一遍扫锚的编译理解，掌握编译程序的实现方法和技术。（3）理解词法分析在编译程序中的作用。（4）加深对有穷自动机模型的理解。二、实验内容和要求 1，词法...

2016-10-14 18:44:00 245

转载词法分析

#include <stdio.h> #include <string.h> #include <stdlib.h> char prog[80],token[8],ch; int syn,p,m,n,sum; char *rwtab[6]={"begin","if","then","while","do","end"}; scaner...

2016-09-30 22:05:00 71

转载编译原理小议

编译原理简而言之就是如何让自己编写的程序让电脑识别。编译原理是个好东西，也是个坏东西。坏东西呢？对于不知道它在讲什么的人，就是一个魔咒。好东西呢？这是一个高大上的东西，是可以让我们在之前学习的基础上提升，质变。如果没有该课程的学习，我们的知识架构就会非常空洞。但是学习重要一个方法的问题，好好上课是必不可少的，与老师同学交流，或者上网与大牛交流。这就是我的观点。转载于:https...

2016-09-09 17:25:00 64

aoxue4029的博客