qq_65398011的博客

原创 hbase-思维导图

原创 网络爬虫-四种统计图

柱状图import numpy as npimport matplotlib.pyplot as plt#准备数据x=np.array(['baseketball','football','baseball','beautiful',])y=np.array([10,20,20,9])c=np.array(['#4CAF50','red','hotpink','#556B2F'])#插入数据plt.bar(x,y,color=c,width=0.5)plt.title('hobby')

原创 Hadoop-代码统计文本单词

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.mapreduce.li.

原创 Hbase-索引优化，参数优化

USE test;#创建表CREATE TABLE IF NOT EXISTS T1(processid INT,nextprocess INT);#创建索引CREATE INDEX IX_ProcessID ON T1(processid);#a语句不使用索引SELECT * FROM T1 WHERE nextprocess = 1 AND processid IN(8,32,45);#b语句强制使用索引SELECT * FROM T1 FORCE INDEX(IX_ProcessID)

原创 Python网络爬虫-pandas

pandas安装安装 pandas 需要基础环境是 Python，开始前我们假定你已经安装了 Python 和 Pip。使用 pip 安装 pandas: pip install pandas安装成功后，我们就可以导入 pandas 包使用：import pandas实例import pandas as pdprint(pd.__version__)#定义字典mydataset = { 'sites':["Google","Runood","wik...

原创 sql查询优化

USE test;#创建表CREATE TABLE IF NOT EXISTS T1(processid INT,nextprocess INT);#创建索引CREATE INDEX IX ProcessID ON T1(processid);#a语句不使用索引SELECT * FROM T1 WHERE nextprocess = 1 AND processid IN (8,32,45);#b语句强制使用索引SELECT * FROM T1 FROM INDEX(IX_ProcessID)WHE

原创 Hadoop-JAVA操作hdfs

package cn.itcast.hadoop.hdfs;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import java.ne.

原创 Python网络爬虫-numpy函数

import numpy as npprint('连接两个字符串：')print (np.char.add(['hello', 'hi'],[' abc', ' xyz']))#函数执行print (np.char.multiply('Runoob ',3))print (np.char.center('Runoob', 20,fillchar = '*'))#函数将字符串的第一个字母转换为大写：print (np.char.capitalize('runoob'))#函数将字符串的

原创 Hbase

CREATE DATABASE IF NOT EXISTS shop DEFAULT CHARSET utf8;USE shop;#用户表CREATE TABLE IF NOT EXISTS USER(id INT PRIMARY KEY AUTO_INCREMENT COMMENT '用户Id',username VARCHAR(50) NOT NULL COMMENT '用户名',PASSWORD VARCHAR(50) NOT NULL COMMENT '密码',regis...

原创 Linux网络基础

一、网络相关概述1、网络发展信息传递远古时期，人们就通过简单的语言、壁画等方式交换信息千百年来，人们一直在用语言、图符、钟鼓、烟火、竹简、纸书等传递信息古代人的烽火狼烟、飞鸽传信、驿马邮递现代社会中，交通警的指挥手语、航海中的旗语等这些信息传递的基本方式都是依靠人的视觉与听觉电的产生1831年，法拉第制出了世界上最早的第一台发电机1866年，德国人西门子（Siemens）制成世界上第一台大功率发电机1837年，美国人塞缪乐·莫乐斯成功地研制出世界上第一台电磁式电报机1844年5月24日

原创 Python网络爬虫-正则表达式

import re#定义正则规则rexg=re.compile(r'\d*\w')res=re.search(rexg,'666666666666ddddddddd')print(res)#定义正则规则rexg2=re.compile(r'\d*\w*')res2=re.search(rexg2,'oooo66dddd')print(res2)#定义正则规则rexg3=re.compile(r'\d?')res3=re.search(rexg3,'66dddd')print(re

原创 Python网络爬虫-scrapy

一、概述Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider

原创 Linux权限

一、权限概述总述：Linux系统一般将文件可存/取访问的身份分为3个类别：owner、group、others，且3种身份各有read、write、execute等权限。1、权限介绍什么是权限？在多用户（可以不同时）计算机系统的管理中，权限是指某个特定的用户具有特定的系统资源使用权力，像是文件夹、特定系统指令的使用或存储量的限制。在Linux中分别有读、写、执行权限：读权限：对于文件夹来说，读权限影响用户是否能够列出目录结构对于文件来说，读权限影响用户是否可以查看文件内容写权限：对文件夹来说，写权限

原创 Hbase-触发器，存储

触发器USE test;#创建学生表CREATE TABLE IF NOT EXISTS student( username VARCHAR(50), PASSWORD VARCHAR(50), stuid INT PRIMARY KEY AUTO_INCREMENT, birthday DATE);#插入数据INSERT INTO student(username,PASSWORD,birthday)VALUES('王二','11111','2016-0...

原创 Hbase-索引

MySQL 索引1.什么是索引？ 一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，在生产环境中，我们遇到最多的，也是最容易出问题的，还是一些复杂的查询操作，因此对查询语句的优化显然是重中之重。说起加速查询，就不得不提到索引了。2.为什么要有索引呢？ 索引在MySQL中也叫做“键”，是存储引擎用于快速找到记录的一种数据结构。索引对于良好的性能 非常关键，尤其是当表中的数据量越来越大时，索引对于性能的影响愈发重要。 索引优化应该是对查询性能优化最有效的手段了。索引能

原创 Python网络爬虫

1.创建项目打开一个终端输入（建议放到合适的路径下，默认是C盘）scrapystartprojectTXmoviescdTXmoviesscrapygenspidertxmsv.qq.com2.修改setting修改三项内容，第一个是不遵循机器人协议，第二个是下载间隙，由于下面的程序要下载多个页面，所以需要给一个间隙（不给也可以，只是很容易被侦测到），第三个是请求头，添加一个User-Agent，第四个是打开一个管道ROBOTSTXT_OBEY=FalseDOWNLOAD_DELAY=1

原创 Hadoop

ssh服务ssh（secureshell，安全外壳协议），该协议有2个常用的作用：远程连接协议、远程文件传输协议。协议使用端口号：默认是22可以是被修改的，如果需要修改，则需要修改ssh服务的配置文件：#/etc/ssh/ssh_config端口号可以修改，但是得注意2个事项：a.注意范围，端口范围是从0-65535；b.不能使用别的服务已经占用的端口；服务启动/停止/重启#servicesshdstart/stop/restart#/etc/init.d/sshdstart/stop/

原创 Python爬虫基础-周美婷

1.爬虫入门程序#导入功能库库名 urllib urllib2 import urllib import urllib2 #填写地址urlurl = 'http://www.server.com/login'#设置Headers 的参数user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' #设置data 参数是访问URL时要传送的数据values = {'username' : 'cqc', 'pass...

原创 Hadoop指令-周美婷

基础指令语法1、ls指令含义：ls（list）用法1：#ls含义：列出当前工作目录下的所有文件/文件夹的名称用法用法2：#ls路径含义：列出指定路径下的所有文件/文件夹的名称关于路径（重要）：路径可以分为两种：相对路径、绝对路径。相对路径：相对首先得有一个参照物（一般就是当前的工作路径）；相对路径的写法：在相对路径中通常会用到2个符号“./”【表示当前目录下】、“../”【上一级目录下】。绝对路径：绝对路径不需要参照物，直接从根“/”开始寻找对应路径；2、pwd指令用法：#pwd（pri

原创 Hbase指令—周美婷

CREATE DATABASE IF NOT EXISTS hhh DEFAULT CHARSET utf8;USE hhh;#建学生表CREATE TABLE IF NOT EXISTS stu( NO INT PRIMARY KEY AUTO_INCREMENT, NAME VARCHAR(20));INSERT INTO stu(NAME)VALUES("张三"),("李四"),("夏目"),("贵志"),("小红");#建科目表CREATE TABLE IF NO...