bafeipo7704-CSDN博客

转载 Hadoop综合大作业+补交平时作业

1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。载入数据创建查表create table Newword_count as select word,count(1) as count from(select explode(split(line,' ')) as word from ...

2018-05-25 22:16:00 197

转载熟悉常用的Hbase操作

1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course）2015001Zhangsanmale...

2018-05-08 15:47:00 136

转载爬虫大作业

import requestsfrom bs4 import BeautifulSoupdef catchSoup(url): #url=‘http://www.18ladys.com/post/buchong/‘ res=requests.get(url) res.encoding=‘utf-8‘ soup=BeautifulSo...

2018-04-29 12:58:00 113

转载熟悉常用的HDFS操作

编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词.在本地查看文件位置（ls）在本地显示文件内容123cd/usr/local/hadooptouch test.txt...

2018-04-25 20:45:00 104

转载数据结构化与保存

1. 将新闻的正文内容保存到文本文件。?1234f = open('content.txt', 'a', encoding ='utf - 8')# content为文本正文f.write(content)f.close()2. 将新闻数据结构化为字典的列表:?...

2018-04-12 19:51:00 71

转载爬取校园新闻首页的新闻的详情，使用正则表达式，函数抽离

import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeurl = "http://news.gzcc.cn/html/xiaoyuanxinwen/"res = requests.get(url);res.encoding = "utf-8"soup = Beautif...

2018-04-04 21:01:00 87

转载中文词频统计

下载一长篇中文文章。从文件读取待分析文本。news = open('gzccnews.txt','r',encoding = 'utf-8')安装与使用jieba进行中文分词。pip install jiebaimport jiebalist(jieba.lcut(news))生成词频统计排序排除语法型词汇，代词、冠词、连词输出词频最大TOP20...

2018-03-28 16:11:00 72

转载综合练习：英文词频统计

词频统计预处理下载一首英文的歌词或文章将所有,.？！’:等分隔符全部替换为空格将所有大写转换为小写生成单词列表生成词频统计排序排除语法型词汇，代词、冠词、连词输出词频最大TOP10 1 # -*- coding: UTF-8 -*- 2 # -*- author: yjw -*- 3 4 Music="""Oh if th...

2018-03-26 19:58:00 76

转载字符串练习

字符串练习：http://news.gzcc.cn/html/2017/xiaoyuanxinwen_1027/8443.html取得校园新闻的编号acc="http://news.gzcc.cn/html/2017/xiaoyuanxinwen_1027/8443.html"print(acc[-14:-5])https://docs.python.org/...

2018-03-21 14:06:00 104

转载熟悉常用的Linux操作

cd命令：切换目录（1）切换到目录 /usr/localcd /usr/local（2）去到目前的上层目录cd ..（3）回到自己的主文件夹cd ~ls命令：查看文件与目录（4）查看目录/usr下所有的文件ls -a /usrmkdir命令：新建新目录（5）进入/tmp目录，创建一个名为a的目录,并查看有多少目录存在cd /...

2018-03-14 15:03:00 81

转载大数据概述作业

恢复1.试述大数据对思维方式的重要影响。大数据时代，思维方式的一个改变，不执着于对精确性的追求，拥抱混乱。另外一个思维方式的转变则是，更加重视相关关系，而不偏执于基于假设基础上对因果关系的追寻。在小数据的世界中，相关关系也是有用的，但在大数据的背景下，相关关系大放异彩。通过应用相关关系，我们可以比以前更容易、更便捷、更清楚地分析事物。人类的思维活动影响着人类的生产生活...

2018-03-06 18:38:00 335

转载简化C语言文法

2016-10-28 21:37:00 177

转载词法分析

实验一、词法分析实验专业：商业软件工程二班姓名：林凯盛学号：201506110149一、实验目的编制一个词法分析程序二、实验内容和要求实验内容：1.对字符串表示的源程序2.从左到右进行扫描和分解3.根据词法规则4.识别出一个一个具有独立意义的单词符号5.以供语法分析之用6.发现词法错误...

2016-10-14 16:00:00 122

转载词法分析程序

一、功能输入：所给文法的源程序字符串。输出：二元组（syn,token或sum）构成的序列。其中：syn为单词种别码；token为存放的单词自身字符串；sum为整型常数。二、符号与种别码对照表单词符号种别码单词符号种别码begin 1 ： 17If...

2016-09-30 21:41:00 141

转载编译原理心得

一、编译原理是什么编译器是将汇编或高级计算机语言翻译为二进制机器语言代码的计算机程序。编译器将源程序（source language）编写的程序作为输入，翻译产生目标语言（target language ）机器代码的等价程序。通常地，源程序为高级语言（high-level language ），像C或C + +、汉语语言程序等，而目标则是机器语言的目标代码（object cod...

2016-09-09 15:52:00 280

bafeipo7704的博客