- 博客(21)
- 收藏
- 关注
RSS订阅转载 Hadoop综合大作业
1.用Hive对英文长篇小说进行词频统计。利用WinSCP 英语长篇小说文本文件放于 /home/hadoop/wc 目录下：启动hadoop：上传到hdfs/data文件中启动Hive在hive数据库创建表 world：导入文本world.txt并查看：用HQL...
2018-05-22 21:29:00
135
转载 hive基本操作与应用
通过hadoop上的hive完成WordCount启动hadoopHdfs上创建文件夹上传文件至hdfs 准备文件song.txt: 上传到hdfs/data文件中启动Hive创建原始文档表导入文件内容到表docs并查看 导入：...
2018-05-15 20:19:00
113
转载 理解MapReduce计算构架
用Python编写WordCount程序任务程序WordCount输入一个包含大量单词的文本文件输出文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔编写map函数，reduce函数map函数：red...
2018-05-10 14:40:00
122
转载 熟悉HBase基本操作
1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course）2015001Zhangsanmale23...
2018-05-08 16:13:00
124
转载 熟悉常用的HDFS操作
一、Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词.在本地查看文件位置（ls）在本地显示文件内容使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。查看hdfs中的文件(-ls)显示hdfs中该...
2018-04-26 11:05:00
161
转载 爬虫大作业
一、主题 ： 爬取博客园博问上160页每页25条帖子标题，利用jieba分词生成词云进行分析二、python爬取数据 博问主页：https://q.cnblogs.com/list/unsolved?page=1 第二页：https://q.cnblogs.com/list/unsolved?page=2 以此类推…...
2018-04-22 13:45:00
574
转载 数据结构化与保存
1. 将新闻的正文内容保存到文本文件。def addcontent(content): f = open("F:/study/大三/大数据/content.txt", "a") f.write('\n'+content) f.close()2. 将新闻数据结构化为字典的列表:单条新闻的详情-->字典news一个列表页所有...
2018-04-17 18:47:00
86
转载 使用正则表达式
学会使用正则表达式import requestsimport matchimport renewsurl = 'http://news.gzcc.cn/html/xiaoyuanxinwen/'res = requests.get(newsurl) res.encoding = 'utf-8'from bs4 import BeautifulSoup...
2018-04-10 20:56:00
126
转载 爬取校园新闻首页的新闻
1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。import requestsnewsurl = 'http://news.gzcc.cn/html/xiaoyuanxinwen/'res = requests.get(newsurl) # 返回response对象res.encoding = 'utf-8'from bs4...
2018-04-04 12:37:00
120
转载 网络爬虫基础练习
练习：新建一个用于练习的html文件，在浏览器中打开。<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Simple DOM Demo</title></head>&l...
2018-03-29 11:21:00
134
转载 综合练习：词频统计
1.英文词频统计：下载一首英文的歌词或文章song = ''' Passion is sweetLove makes weakYou said you cherised freedom soYou refused to let it goFollow your faith Love and hatenever failed to seize the d...
2018-03-27 16:59:00
152
转载 组合数据类型综合练习：英文词频统计
1.组合数据类型练习：分别定义字符串，列表，元组，字典，集合，并进行遍历。总结列表，元组，字典，集合的联系与区别。字符串：str1 = "hello everyone"for i in str1: print(i)列表：str2 = ['jay','male',[1996,12,2]]for i in str2: print(i)元组...
2018-03-22 19:10:00
137
转载 Python基础综合练习
import turtledef mygoto(x,y): turtle.up() turtle.goto(x, y) turtle.down()def draw(x): turtle.begin_fill() for i in range(5): turtle.forward(x) turtle.right(144...
2018-03-20 16:04:00
150
转载 熟悉常用的Linux操作
cd命令：切换目录（1）切换到目录 /usr/localcd /usr/local（2）去到目前的上层目录 cd ..（3）回到自己的主文件夹 cd ~ ls命令：查看文件与目录（4）查看目录/usr下所有的文件 cd /usr ls -al mkdir命令：新建新目录（5）进入/tmp目录，创建一个名为a的目录,并查看有多少目录存在 cd /tm...
2018-03-13 17:04:00
384
转载 大数据概述
1.试述大数据对思维方式的重要影响。 大数据对思维方式带来的转变有三种：全样而非抽样、效率而非精确、相关而非因果。 ①、全样而非抽样:在过去,数据存储和处理能力有限，所以在科学分析中一般采用抽样的方法，而现 在，有了大数据技术的支持，科学分析可以直接针对全样数据进行分析而不是抽样数据； ②、效率而非精确:在科学分析中如果采用抽样分析，则分析需要做到精确，否则分析...
2018-03-06 16:21:00
2939
转载 C程序语法(无左递归)
<程序> —〉 <外部声明> | <函数定义><外部声明> —〉<头文件> | <变量> | <结构体> <头文件> —〉 #include<文件名><文件名> —〉 stdio.h丨stdlib.h丨string.h<结构体> —〉 <结构体声明〉|...
2016-12-02 18:38:00
259
转载 简易版C语言程序语法
<程序> —〉 <外部声明> | <函数定义><外部声明> —〉<头文件> | <变量> | <结构体> <头文件> —〉 #include<文件名><文件名> —〉 stdio.h丨stdlib.h丨string.h<结构体> —〉 <结构体声明〉|...
2016-10-27 11:22:00
167
转载 词法分析实验报告(一)
实验一 词法分析实验专业：商业软件三班 姓名：曾铭杰 学号：201506110197一、 实验目的用C语言设计一个词法分析程序，将字符流的源程序进行分析，从左到右逐个字符地扫描源程序，同时滤掉空格符和回车换行符，逐个读取字符，然后将它们拼在一起组成一个有意义的单词符号，识别出单词的种别及单词自身的值.二、 实验内容和要求1.输入一段...
2016-10-13 10:58:00
795
转载 词法分析程序（C）
#include <stdio.h> #include <string.h> char string[80],word[8],ch; int type,p,i,n,sum; char keyword[][6]={"begin","if","then","while","do","end"}; //关键字数组 ...
2016-10-07 21:33:00
227
转载 词法分析程序
词法分析程序的功能：将用户输入的程序段进行分析，逐个字符进行读取，根据关键字、数字、标识符等的文法规则，将它们拼在一起组成一个有意义的单词，并输出自身值及其种别码。单词符号 种别码 单词符号 种别码 begin 1 : 17 if 2 := 18 then ...
2016-09-30 10:40:00
175
转载 我对编译原理的理解
1.编译原理就是什么？ 编译就是计算机将人类语言翻译成机器语言的过程，也就是将高级语言翻译成低级语言（0/1），而学习编译原理就是要我们学习整个的翻译过程，即计算机内部如何将高级语言翻译成低级语言。2.学习编译原理有什么好处？ 不会编译原理，就相当于一个不会一个英语的人在看一部无中文字幕的英语电影，如果没有人翻译出来字幕，那他就完全都听不懂，但即便不会...
2016-09-08 11:20:00
217
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人