- 博客(22)
- 收藏
- 关注
RSS订阅转载 Hadoop综合大作业
要求：1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。下载长篇英语小说上传到hdfs上启动hive将数据写入到study表创建分析表统计查看分析统计结果2.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。...
2018-05-22 22:45:00
91
转载 hive基本操作与应用
启动hadoopHdfs上创建文件夹上传文件至hdfs启动Hive创建原始文档表导入文件内容到表docs并查看用HQL进行词频统计，结果放在表word_count里查看统计结果转载于:https://www.cnblogs.com/...
2018-05-17 10:35:00
68
转载 用Python编写WordCount程序任务
用Python编写WordCount程序任务程序WordCount输入一个包含大量单词的文本文件输出文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔编写map函数，reduce函数将其权限作出相应修改本...
2018-05-10 22:32:00
123
转载 熟悉HBase基本操作
1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course）2015001Zhangsanmale23...
2018-05-08 16:54:00
67
转载 第三章 熟悉常用的HDFS操作
一、Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词.在本地查看文件位置（ls）在本地显示文件内容cd /home/hadoop/touch test.txt cat temp.txt 4.使用命令把本地文件系统中的“txt”上传到...
2018-04-26 19:33:00
73
转载 爬虫的亲生体验
最近找到一个IT网站，想了解下IT热门文章下的重点词。http://blog.jobbole.com/category/it-tech/下面介绍下在爬虫遇到的坑：1、wordcloud 第三方插件导入问题。大部分人出现过，首先PyCharm在setting下导入会报错误。毕竟我的python3.7这个有点坑，然后删除这个3.7，下载了3.6版本的python。解决方案...
2018-04-20 12:46:00
63
转载 数据结构化与保存
1. 将新闻的正文内容保存到文本文件。def save(content): f = open("content.txt", "a") f.write(content) f.close()2. 将新闻数据结构化为字典的列表:单条新闻的详情-->字典news一个列表页所有单条新闻汇总-->列表n...
2018-04-17 20:00:00
63
转载 爬取校园新闻首页的新闻
1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。2. 分析字符串，获取每篇新闻的发布时间，作者，来源，摄影等信息。3. 将其中的发布时间由str转换成datetime类型。4. 将完整的代码及运行结果截图发布在作业上。import requestsfrom datetime import datetimeu...
2018-04-03 17:39:00
70
转载 网络爬虫基础练习
0.可以新建一个用于练习的html文件，在浏览器中打开。1.利用requests.get(url)获取网页页面的html文件import requestsnewsurl='http://news.gzcc.cn/html/xiaoyuanxinwen/'res = requests.get(newsurl) #返回response对象res.encoding='...
2018-03-29 10:49:00
60
转载 综合练习：词频统计
#读取英文歌词文件file=open('dd.txt','r',encoding='utf-8')word=file.read()file.close()#排除符号di='''.,''""?!:;'''for i in di: word=word.replace(i,'')#大写转换小写 空格分割word=word.lower().split...
2018-03-27 17:31:00
72
转载 组合数据类型练习
分别定义字符串，列表，元组，字典，集合，并进行遍历。字符串：ls='abcdefg'for i in ls: print(i)列表：ls=['a','b','c']for i in ls: print(i)元组：ls=['a','b','c']a=tuple(ls)for i in a: prin...
2018-03-22 20:28:00
125
转载 熟悉常用的Linux操作
请按要求上机实践如下linux基本命令。cd命令：切换目录（1） 切换到目录 /usr/local cd /usr/local（2） 去到目前的上层目录cd ..（3）回到自己的主文件夹cd /ls命令：查看文件与目录（4）查看目录/usr下所有的文件cd /usrls -almkdir命令：新建新目录（...
2018-03-14 22:25:00
86
转载 大数据概述
1.试述大数据对思维方式的重要影响。大数据是一种思维方式革命，在方法论的层面，大数据带来一种全新的思维方式。从大数据的角度上看，我们需要从根本上改变做事情的方式与方法。 首先通过回忆17世纪指导我们做事的重要的一种思维方式-机械思维，今天说起机械思维，死板、僵化等不好的词汇出现。但是在两个世纪之前，这可是一个时髦的词，就好比今天我们说互联网思维、大数据思维很时髦一样。在之前...
2018-03-06 17:33:00
76
转载 windowBackground打造闪屏页
windowBackgroud关键在于设置背景图片或者动态drawable。如下步骤轻松实现闪屏页1、在styles下新建一个style<style name="SplashTheme" parent="AppTheme"> <item name="android:windowIsTranslucent">false</item&g...
2017-08-15 17:49:00
761
转载 安卓日期选择对话框
1 Calendar c=Calendar.getInstance(); 2 //直接创建一个DatePickerDialog对话框实例，并显示出来 3 new DatePickerDialog(this, 4 //绑定监听器 5 new DatePickerDialog...
2017-02-01 11:41:00
78
转载 c语言语法分析器
#include <stdio.h>#include <string.h>char prog[800], token[20];char ch;int syn,p,m,n,sum;char * rwtab[6]= {"begin","if","then","while","do","end"};main(){ p=0...
2016-12-16 21:04:00
172
转载 C语言文法
C程序语法(无左递归)<程序> —〉 <外部声明> | <函数定义><外部声明> —〉<头文件> | <变量> | <结构体> <头文件> —〉 #include<文件名><文件名> —〉 stdio.h丨stdlib.h丨string.h<结...
2016-12-11 09:07:00
175
转载 自动机
#include<stdio.h>char t[100]={'\0'};char prog[100];char ch;int i,p;main(){ char ch; char en; char t[100],get[100],cv[100],ci[100]; int c,i,z,j,p,n,count; ...
2016-11-24 11:28:00
70
转载 c语言文法
<程序>→<外部声明>|<程序><外部声明><外部声明>→<函数定义>|<声明><函数定义>→<类型说明><声明符><符合语句><类型说明>→<void>|<char>|<int>|<floa...
2016-11-03 10:04:00
82
转载 实验一、词法分析器实验
一、实验目的通过词法分析器，进一步了解词法之间的关系。二、实验内容和要求将输入的字符串通过词法分析器一一识别出来，同时将该字符串或者字符并且和种别码一起输出来。三、实验方法、步骤及结果测试源程序名：z.c可执行程序名：z.exe原理分析及流程图采用数组存放数据，通过字符串的比较实现关键字的种别码输出...
2016-10-12 22:24:00
234
转载 词法分析器
1 #include <stdio.h> 2 char prog[100]={'\0'}; 3 char token[9]; 4 char ch; 5 int syn,n,sum,p; 6 void scaner(){ 7 int m=0; 8 sum=0; 9 char *r...
2016-09-30 10:22:00
64
转载 编译原理
我刚接触编译原理的时候，刚开始看到译字就理解为翻译（即我们中文与英文的转换）。后来经过了解才明白编译原理就是把我们所写的高级语言通过汇编程序翻译成计算机所识别的机器语言。通过网上的程序员对学习编译原理的理解，各有各的想法。不过我觉得作为一名合格的程序员，学习编译原理很重要。学习编译原理可以让我们深入了解我们代码如何转变为机器识别的语言，同时这对我以后的学习和工作中有很大的作用，我作为...
2016-09-08 11:38:00
81
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人