deduzong5607-CSDN博客

转载 Hadoop综合大作业

1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计创建文件夹：查看hdfs的所有文件：把文件上传到hdfs：启动hive：创建表：把hdsf上的文件内容添加进去表里：创建一个新的表存放词频统计：查找表的前十条记录：2.用Hive对爬虫大作业产生的csv文件进行数...

2018-05-24 17:10:00 79

转载 hive基本操作与应用

启动hadoopHdfs上创建文件夹创建的文件夹是datainput上传文件至hdfs启动Hive创建原始文档表导入文件内容到表docs并查看用HQL进行词频统计，结果放在表word_count里查看统计结果转载于:https://www.cnblogs.com/hkvbm/p...

2018-05-17 19:59:00 82

转载理解MapReduce计算构架

用Python编写WordCount程序任务1.编写map函数，reduce函数创建文件编写函数2.将其权限作出相应修改3.本机上测试运行代码4.放到HDFS上运行，下载并上传文件到hdfs上5.用Hadoop Streaming命令提交任务转载于:https://www.cnblogs.com/hk...

2018-05-11 20:32:00 117

转载熟悉HBase基本操作

1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course）2015001Zhangsanmale232015003Maryfemale22...

2018-05-09 22:18:00 101

转载爬虫大作业

我选择的是爬取慕课网的关于java的课程，网址为https://www.imooc.com/search/course?words=java；慕课网上关于java的课程总共有三页：for i in range(1, 4): pageUrl = "https://www.imooc.com/search/course?words=java&page=...

2018-04-28 23:05:00 125

转载熟悉常用的HDFS操作

一、Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词.在本地查看文件位置（ls）在本地显示文件内容cd /home/hadoop/touch test.txt cat temp.txt　　　4.使用命令把本地文件系统...

2018-04-27 14:37:00 457

转载数据结构化与保存

1. 将新闻的正文内容保存到文本文件。f = open('gzccnews.txt','a',encoding='utf-8') f.write(content) f.close()　　2. 将新闻数据结构化为字典的列表:单条新闻的详情-->字典news一个列表页所有单条新闻汇总-->列表newsls.append(news...

2018-04-18 21:21:00 105

转载使用正则表达式，取得点击次数，函数抽离

1. 用正则表达式判定邮箱是否输入正确。import rer = '^(\w)+(\.\w+)*@(\w)+((\.\w{2,3}){1,3})$'e = 'a991216825@sina.com's = '输入邮箱正确：'if re.match(r,e): print(s,re.match(r,e).group(0))else: prin...

2018-04-11 21:21:00 40

转载爬取校园新闻首页的新闻

1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。import requestsfrom bs4 import BeautifulSoupres = requests.get('http://news.gzcc.cn/html/xiaoyuanxinwen/')res.encoding='utf-8'soup=B...

2018-04-03 17:31:00 141

转载网络爬虫基础练习

import requestsurl='http://localhost:63342/new/news.html?_ijt=55294hg253a9s359i3e3f9kdku'res=requests.get(url)res.encoding='utf-8' from bs4 import BeautifulSoupsoup=BeautifulSoup(re...

2018-03-29 20:51:00 87

转载词频统计

1.英文词频统下载一首英文的歌词或文章将所有,.？！’:等分隔符全部替换为空格将所有大写转换为小写sep = ''',.'?!;:'"'''; for i in sep: worldSet = news.replace(i,' '); worldSet= news.lower().split();　　生成单词列表pri...

2018-03-27 21:46:00 128

转载 python基础综合练习

import turtledef mygoto(x, y): turtle.up() turtle.goto(x, y) turtle.down()def drawwwu(r): turtle.begin_fill() for i in range(5): turtle.forward(r) ...

2018-03-20 16:20:00 107

转载熟悉常用的Linux操作

请按要求上机实践如下linux基本命令。cd命令：切换目录（1）切换到目录 /usr/local cd /usr/local（2）去到目前的上层目录 cd ..（3）回到自己的主文件夹 cd ~ls命令：查看文件与目录（4）查看目录/usr下所有的文件 cd /usr ls ...

2018-03-13 16:34:00 85

转载大数据概述

1.试述大数据对思维方式的重要影响。大数据技术的快速发展，不仅是带来了一场企业及技术革命、国家和地方治理革命，更给人们特别是决策者的认知能力带来升华的新机遇。　　为此，全社会必须牢固树立大数据思维，积极适应大数据带来的整体观念变革。　　1.全面而非抽样。以往，由于数据存储和处理能力等诸多客观因素的限制，在进行决策时只能通过采样手段来获取数据进行分析，通常样本数据的规模要...

2018-03-06 17:16:00 91

转载 c语言程序的文法分析

2016-10-27 21:31:00 160

转载词法分析实验报告

一、实验目的掌握词法分析的设计方法。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即关键字、标识符、常数、运算符、界符五大类。二、实验内容和要求读取键盘输入的字符，读取后进行词法分析判断输入的字符是关键字、标识符...

2016-10-13 10:16:00 471

转载未完成的词法分析

输入一个词时，进行判断，通过循环不断输入词并进行分析。当输入#字符时，程序结束。#include<stdio.h>#define MAX 100int Ana(char str[]);main(){ int a[10]; int i; char str[MAX]; do{ printf("输入要分析的词(当输入#时为结束)：...

2016-09-30 13:20:00 81

转载一名初学者对编译原理的看法

编译原理是计算机专业的一门重要的学科课程，在很多人看来，这门课程枯燥无味，但是这门课程在理论、技术、方法上都对学生提供了系统而有效的训练，有利于提高软件人员的素质和能力，能够让人对自己所写的程序、程序语言有更深的本质认识。以上就是我对于学习编译原理的看法转载于:https://www.cnblogs.com/hkvbm/p/5852349.html...

2016-09-08 11:13:00 172

deduzong5607的博客