- 博客(17)
- 收藏
- 关注
转载 Hadoop综合大作业
1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。启动hadoop:查看hdfs上的文件夹:将本地系统hadoop文件夹里的英文版故事LittlePrince.txt上传至hdfs的hive文件夹中:查看hdfs上的LittlePrince.txt文件内容:启动hive:创建文档表wo...
2018-05-25 08:35:00 93
转载 理解MapReduce
1.用Python编写WordCount程序并提交任务程序WordCount输入一个包含大量单词的文本文件输出文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔编写map函数,reduce函数#!/usr/...
2018-05-10 21:46:00 74
转载 熟悉常用的HBase操作
1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据:学生表(Student)(不包括最后一列)学号(S_No)姓名(S_Name)性别(S_Sex)年龄(S_Age)课程(course)2015001Zhangsanmale23...
2018-05-04 21:48:00 83
转载 熟悉常用的HDFS操作
一、Hadoop提供的Shell命令完成相同任务:在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词.在本地查看文件位置(ls)在本地显示文件内容cd /usr/local/hadoop touch hello.txt cat hello.txt使用命...
2018-04-27 20:54:00 95
转载 爬虫大作业
# -*- coding: utf-8 -*-import requestsfrom bs4 import BeautifulSoup as bsdef getreq(url): header = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, li...
2018-04-23 13:04:00 97
转载 数据结构与保存
1. 将新闻的正文内容保存到文本文件。def writeNewsDetail(content): f = open('gzccNews.txt', 'a',encoding='utf-8') f.write(content) f.close() 2. 将新闻数据结构化为字典的列表:单条新闻的详情-->字典news一...
2018-04-17 21:34:00 101
转载 使用正则表达式,取得点击次数,函数抽离
1. 用正则表达式判定邮箱是否输入正确。import restr=r'^[a-zA-Z0-9]+(\.[a-zA-Z0-9_-]+){0,4}@[a-zA-Z0-9]+(\.[a-zA-Z0-9]+){0,4}$'are=('840805339@qq.com')if re.match(str,are): print('success')else: ...
2018-04-11 19:30:00 33
转载 爬取校园新闻首页的新闻
1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题、链接、正文。import requestsfrom bs4 import BeautifulSoupurl='http://news.gzcc.cn/html/xiaoyuanxinwen/'res=requests.get(url)res.encoding='utf-8'...
2018-04-02 20:45:00 54
转载 网络爬虫基本练习
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Simple DOM Demo</title></head> <body> <h1>This...
2018-03-29 19:11:00 63
转载 综合练习
song = ''' An empty streetAn empty houseA hole inside my heartI'm all aloneThe rooms are getting smallerI wonder howI wonder whyI wonder where they areThe days we hadThe s...
2018-03-26 11:15:00 62
转载 组合数据类型练习
1.字符串a = 'examples'print(a)for i in a: print(i)2.列表s = 'this is a string examples'ls = s.split()print(ls)for i in ls: print(i)3.元组tup = ('Nacy', 'Andy', 56);...
2018-03-22 19:58:00 102
转载 PY练习
from turtle import *def position(x, y): up() goto(x, y) down()def drawstar(size, x, y): position(x, y) color('yellow') begin_fill() fillcolor('yellow'...
2018-03-19 21:50:00 136
转载 熟悉常用的Linux操作
请按要求上机实践如下linux基本命令。cd命令:切换目录(1)切换到目录 /usr/localcd /usr/local(2)去到目前的上层目录cd ...(3)回到自己的主文件夹cd ~ls命令:查看文件与目录(4)查看目录/usr下所有的文件Ls /usrmkdir命令:新建新目录(5)进入/tmp目录,创建一个名为a的目录,并查...
2018-03-12 12:16:00 75
转载 大数据
1.试述大数据对思维方式的重要影响。近年来,“大数据”一词从原本陌生的专业领域一跃进入公众眼帘,并作为时髦的热词写入各级政府工作报告中。它所掀起新的数据技术革命,正深刻地改变着我们这个时代的生产、工作和生活样式,并推动着人类认识、理解世界的方式转变。为此,必须全面准确把握大数据所揭示的深刻内涵及其走势,积极适应大数据风暴带来的思维方式的转变及观念变革。2.详细阐述大数据、云计算、...
2018-03-05 09:46:00 76
转载 实验报告1
实验一、词法分析器实验专业:商业软件工程一班 姓名:王梓斌 学号:201506110116一、 实验目的编写一个词法分析程序。二、 实验内容和要求输入:源程序字符串输出:二元组(种别,单词本身) 待分析语言的词法规则三、 实验方法、步骤及结果测试1. 源程序名:压缩包...
2016-10-14 17:19:00 204
转载 来得有点晚的词法分析
# include<stdio.h># include<stdlib.h># include<string.h>int panduan(char tmp[]){char b[6][10] = {"begin", "if", "then", "while", "do", "end", };int k = 0;while(k < 6) /...
2016-10-14 16:46:00 73
转载 116王梓斌对编译原理的看法
编译原理是计算机专业的一门重要专业课,旨在介绍编译程序构造的一般原理和基本方法。内容包括语言和文法、词法分析、语法分析、语法制导翻译、中间代码生成、存储管理、代码优化和目标代码生成。 编译原理是计算机专业设置的一门重要的专业课程。虽然只有少数人从事编译方面的工作,但是这门课在理论、技术、方法上都对学生提供了系统而有效的训练,有利于提高软件人员的素质和能力。 编...
2016-09-09 17:25:00 117
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人