diantishou0121-CSDN博客

转载 Hadoop综合大作业

1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。启动hadoop：查看hdfs上的文件夹：将本地系统hadoop文件夹里的英文版故事LittlePrince.txt上传至hdfs的hive文件夹中：查看hdfs上的LittlePrince.txt文件内容：启动hive：创建文档表wo...

2018-05-25 08:35:00 84

转载理解MapReduce

1.用Python编写WordCount程序并提交任务程序 WordCount 输入一个包含大量单词的文本文件输出文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔编写map函数，reduce函数 #！/usr/...

2018-05-10 21:46:00 67

转载熟悉常用的HBase操作

1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course） 2015001 Zhangsan male 23...

2018-05-04 21:48:00 74

转载熟悉常用的HDFS操作

一、Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls）在本地显示文件内容 cd /usr/local/hadoop touch hello.txt cat hello.txt 使用命...

2018-04-27 20:54:00 88

转载爬虫大作业

# -*- coding: utf-8 -*- import requests from bs4 import BeautifulSoup as bs def getreq(url): header = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, li...

2018-04-23 13:04:00 94

转载数据结构与保存

1. 将新闻的正文内容保存到文本文件。 def writeNewsDetail(content): f = open('gzccNews.txt', 'a',encoding='utf-8') f.write(content) f.close() 　　 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一...

2018-04-17 21:34:00 97

转载使用正则表达式，取得点击次数，函数抽离

1. 用正则表达式判定邮箱是否输入正确。 import re str=r'^[a-zA-Z0-9]+(\.[a-zA-Z0-9_-]+){0,4}@[a-zA-Z0-9]+(\.[a-zA-Z0-9]+){0,4}$' are=('[email protected]') if re.match(str,are): print('success') else: ...

2018-04-11 19:30:00 32

转载爬取校园新闻首页的新闻

1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。 import requests from bs4 import BeautifulSoup url='http://news.gzcc.cn/html/xiaoyuanxinwen/' res=requests.get(url) res.encoding='utf-8' ...

2018-04-02 20:45:00 51

转载网络爬虫基本练习

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Simple DOM Demo</title> </head> <body> <h1>This...

2018-03-29 19:11:00 54

转载综合练习

song = ''' An empty street An empty house A hole inside my heart I'm all alone The rooms are getting smaller I wonder how I wonder why I wonder where they are The days we had The s...

2018-03-26 11:15:00 58

转载组合数据类型练习

1.字符串 a = 'examples' print(a) for i in a: print(i) 2.列表 s = 'this is a string examples' ls = s.split() print(ls) for i in ls: print(i) 3.元组 tup = ('Nacy', 'Andy', 56);...

2018-03-22 19:58:00 94

转载 PY练习

from turtle import * def position(x, y): up() goto(x, y) down() def drawstar(size, x, y): position(x, y) color('yellow') begin_fill() fillcolor('yellow'...

2018-03-19 21:50:00 128

转载熟悉常用的Linux操作

请按要求上机实践如下linux基本命令。 cd命令：切换目录（1）切换到目录 /usr/local cd /usr/local （2）去到目前的上层目录 cd ... （3）回到自己的主文件夹 cd ~ ls命令：查看文件与目录（4）查看目录/usr下所有的文件 Ls /usr mkdir命令：新建新目录（5）进入/tmp目录，创建一个名为a的目录,并查...

2018-03-12 12:16:00 73

转载大数据

1.试述大数据对思维方式的重要影响。近年来，“大数据”一词从原本陌生的专业领域一跃进入公众眼帘，并作为时髦的热词写入各级政府工作报告中。它所掀起新的数据技术革命，正深刻地改变着我们这个时代的生产、工作和生活样式，并推动着人类认识、理解世界的方式转变。为此，必须全面准确把握大数据所揭示的深刻内涵及其走势，积极适应大数据风暴带来的思维方式的转变及观念变革。 2.详细阐述大数据、云计算、...

2018-03-05 09:46:00 73

转载实验报告1

实验一、词法分析器实验专业：商业软件工程一班姓名：王梓斌学号：201506110116 一、实验目的编写一个词法分析程序。二、实验内容和要求输入：源程序字符串输出：二元组（种别，单词本身）待分析语言的词法规则三、实验方法、步骤及结果测试 1. 源程序名：压缩包...

2016-10-14 17:19:00 196

转载来得有点晚的词法分析

# include<stdio.h># include<stdlib.h># include<string.h> int panduan(char tmp[]){char b[6][10] = {"begin", "if", "then", "while", "do", "end", };int k = 0; while(k < 6) /...

2016-10-14 16:46:00 69

转载 116王梓斌对编译原理的看法

编译原理是计算机专业的一门重要专业课，旨在介绍编译程序构造的一般原理和基本方法。内容包括语言和文法、词法分析、语法分析、语法制导翻译、中间代码生成、存储管理、代码优化和目标代码生成。编译原理是计算机专业设置的一门重要的专业课程。虽然只有少数人从事编译方面的工作，但是这门课在理论、技术、方法上都对学生提供了系统而有效的训练，有利于提高软件人员的素质和能力。编...

2016-09-09 17:25:00 110

diantishou0121的博客