dianxiangyi8958-CSDN博客

转载 hive基本操作与应用

老师：MissDu通过hadoop上的hive完成WordCount启动hadoopHdfs上创建文件夹上传文件至hdfs启动Hive创建原始文档表导入文件内容到表docs并查看用HQL进行词频统计，结果放在表word_count里查看wc信息查看统计结果出错，无结果。...

2018-05-17 21:59:00 76

转载理解MapReduce计算构架 2

用Python编写WordCount程序任务程序WordCount输入一个包含大量单词的文本文件输出文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔编写map函数，reduce函数（1）首先创建一...

2018-05-11 21:04:00 84

转载熟悉常用的Hbase操作

1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course）2015001Zhangsanmale23...

2018-05-09 21:11:00 168

转载爬虫大作业

提交作业 1.选一个自己感兴趣的主题（所有人不能雷同）。每天都有接触各大平台推送的新闻，了解到了校园外的大小事。故此，对新浪新闻标题的关键字的爬取，看看最近发生的实时，也想比较下标题党还是和实际内容的差异。2.用python 编写爬虫程序，从网络上爬取相关主题的数据。3.对爬了的数据进行文本分析，生成词云。4.对文本分析结果进行解释说明。5.写...

2018-04-30 14:36:00 111

转载数据结构化与保存

1. 将新闻的正文内容保存到文本文件。2. 将新闻数据结构化为字典的列表:单条新闻的详情-->字典news一个列表页所有单条新闻汇总-->列表newsls.append(news)所有列表页的所有新闻汇总列表newstotal.extend(newsls)import requestsfrom bs4 import BeautifulSou...

2018-04-17 20:47:00 97

转载使用正则表达式，取得点击次数，函数抽离

学会使用正则表达式1. 用正则表达式判定邮箱是否输入正确。import rer = "^(\w)+([-+_.]\w+)*@(\w)+((\.\w{2,4}){1,3})$"e = "757036111@qq.com"if re.match(r,e): print(re.match(r, e).group(0))else: print("error!")...

2018-04-11 20:17:00 71

转载网络爬虫基础练习

0.可以新建一个用于练习的html文件，在浏览器中打开。<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Simple DOM Demo</title></head>&lt...

2018-03-30 21:23:00 74

转载综合练习：词频统计

1.英文词频统下载一首英文的歌词或文章将所有,.？！’:等分隔符全部替换为空格将所有大写转换为小写生成单词列表生成词频统计排序排除语法型词汇，代词、冠词、连词输出词频最大TOP201.英文词频统下载一首英文的歌词或文章将所有,.？！’:等分隔符全部替换为空格将所有大写转换为小写生成单词列表生成词频统计排序排除语法型词汇，代词...

2018-03-28 21:56:00 128

转载画图

import turtledef mygoto(x, y): turtle.up() turtle.goto(x, y) turtle.down()#自定义绘制五角星函数def drowwjx(x): turtle.begin_fill() for i in range(5): turtle.forw...

2018-03-20 17:49:00 62

转载熟悉常用的Linux操作

请按要求上机实践如下linux基本命令。cd命令：切换目录（1）切换到目录/usr/localcd /usr/local（2）去到目前的上层目录cd..（3）回到自己的主文件夹cd~ls命令：查看文件与目录（4）查看目录/usr下所有的文件cd/usrls /usrmkdir命令：新建新目录（5）进入/tmp目录，创建一个...

2018-03-13 17:12:00 421

转载大数据概述

1.试述大数据对思维方式的重要影响。大数据是一种思维方式革命，是一种全新的思维方式。大数据思维是指由样本到全量思维；由精确到模糊思维；由因果到关联思维。样本到全量大数据时代的到来，给我们带来了思维的改变。在不抛弃已有的思维上，通过学习新的思维，学习大数据，了解大数据。让它成为你的思维库里的又一项武器。使得我们在这个时代透过数据看世界，比别人看得更加清晰。2.详细阐述大数据、云...

2018-03-06 21:24:00 149

转载 c语言文法

2016-11-03 10:09:00 117

转载词法分析实验报告

实验一、词法分析器实验专业：商软工程3班姓名：林美全学号：201506110220一、实验目的设计，编制一个简单词法分析程序对输入字符串进行识别并做简单有效输出从而加深对词法的理解。二、实验内容和要求识别输入字符串中的关键词，标识符，数字，字母，分界符，并将其与其对应种别码进行输出。三、...

2016-10-13 11:36:00 182

转载词法分析器

#include <stdio.h> #include <string.h> char prog[80],token[8],ch; int syn,p,m,n,sum; char *rwtab[6]={"begin","if","then","while","do","end"}; void scaner(void); ...

2016-09-30 23:22:00 54

转载对于编译原理的理解

初以为所谓编译，就是简单对一些源代码进行翻译使之能被计算机识别。在看了《编译原理》和听了老师讲解后才发现远不止于此，需要学习的还有很多。希望在以后的学习能更加深入的了解到编译背后的奥妙吧！转载于:https://www.cnblogs.com/lmq757036131/p/5858470.html...

2016-09-09 23:55:00 81

dianxiangyi8958的博客