- 博客(21)
- 收藏
- 关注
RSS订阅原创 Hbase------刘飞
CREATE DATABASE IF NOT EXISTS info DEFAULT CHARSET utf8;USE info;#CREATE TABLE IF NOT EXISTS stu(NO INT PRIMARY KEY AUTO_INCREMENT,NAME VARCHAR(20));#插入数据INSERT INTO stu(NAME)VALUES("张三"),("李四"),("王五"),("六留"),("七七"),("八八");#创建科目表CREATE TABLE IF NO
2022-05-08 21:21:28
651
原创 hadoop---刘飞
查找单词个数import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.
2022-05-08 21:17:39
56
原创 爬虫——刘飞
折线形import numpy as npimport matplotlib.pyplot as plt#定义数据ypointds = np.array([1,3,9,25,12,32,5,1])#数据插入到图表#plt.plot(ypoints,'o:g')# plt.plot(ypointds,marker='o',license=':',color='g')#linewidth=线上面点的宽度plt.plot(ypointds,marker='o',ls=':',c='g',li
2022-05-08 21:11:29
469
原创 Hbase------刘飞
USE test;CREATE TABLE IF NOT EXISTS t(id INT,num INT DEFAULT 0,NAME VARCHAR(20));CREATE INDEX ix_num ON t(num);#未使用索引SELECT id FROM t WHERE num IS NULL;#使用索引SELECT id FROM t WHERE num=0;#未使用索引SELECT FROM t WHERE num != 5;SELECT FROM t WHERE num
2022-05-01 19:45:54
897
原创 hadoop---刘飞
hadoop:启动时的进程 hdfs:分布式文件系统 namenode:管理 datanode:存储数据 secondarynamenode:备用namenode yarn:资源调度 resourcemanager:管理 nodemanger:处理任务要写的代码： java操作hdfs： 1.获取分布式文件系统fs=FileSystem.get( ) 2.fs.mkdir...
2022-05-01 19:23:25
1346
原创 爬虫——刘飞
#需要先下载pandasimport pandas as pd#./123.csv:在文章的下面df = pd.read_csv('./123.csv')# print(df)print("**************************************")#打印那(某)一列，判断某一列是否有空值# print(df['NUM_BEDROOMS'])# print(df['NUM_BEDROOMS'].isnull)print("**********************.
2022-05-01 19:21:10
170
原创 Hbase------刘飞
USE test;#创建表CREATE TABLE IF NOT EXISTS T1(processid INT,nextprocess INT);#创建索引CREATE INDEX IX ProcessID ON T1(processid);#a语句不使用索引SELECT * FROM T1 WHERE nextprocess = 1 AND processid IN (8,32,45);#b语句强制使用索引SELECT * FROM T1 FORCE INDEX(IX_ProcessID
2022-04-24 21:29:54
1089
原创 hadoop---刘飞
配置ssh免登陆生成ssh免登陆密钥cd ~，进入到我的home目录cd .ssh/ssh-keygen -t rsa （四个回车）执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝到要免登陆的机器上cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys cat是查看或ssh-copy-id -i localhost关闭所有stop-all.sh开启所有start-all.shhadoo
2022-04-24 21:27:51
1160
原创 爬虫——刘飞
import numpy as np#numpy等于npprint("**********************1***************************")print('函数依次对两个数组的元素进行字符串连接')print('连接两个字符串：')print(np.char.add(['hello'],['xyz']))print("**********************2***************************")print('函数执行多重连接')pri
2022-04-24 21:20:08
139
原创 hadoop---刘飞
删除java安装包:rpm -e --nodeps 包名2.安装JDK 2.1 filezilla上传jdk到/opt 2.2 解压jdk cd /opt tar -zxvf jdk-7u76-linux-x64.tar.gz 2.3 将java添加到环境变量中 vim /etc/profile #在文件最后添加 export JAVA_HOME=/opt/jdk1.7.0_...
2022-04-10 18:01:49
53
原创 Hbase------刘飞
#第一范式：# 保存原子性#第二范式：# 完全依赖于主键，消除部分依赖# 某个属性既依赖于主键又依赖于其他属性，不能缺失一个#第三范式：# 消除传递依赖：# 某个属性既对应了主键又对应了其他属性，可以缺失其中一个#用户名，密码，注册日期，生日CREATE DATABASE IF NOT EXISTS test DEFAULT CHARSET utf8;USE test;CREATE TABLE IF NOT EXISTS test1(...
2022-04-10 17:59:15
1777
原创 爬虫——刘飞
import parserfrom lxml import etreewb_data=""" <div> <ul> <li class="item-0"><a href="link1.html">first item</a></li> <li class="item-1"><a href="link2..
2022-04-10 11:52:03
763
原创 Hbase------刘飞
目录触发器（trigger）：监视某种情况，并触发某种操作，它是提供给程序员和数据分析员来保证数据完整性的一种方法，它是与表事件相关的特殊的存储过程，它的执行不是由程序调用，也不是手工启动，而是由事件来触发，例如当对一个表进行操作（ insert，delete， update）时就会激活它执行。#触发器CREATE TRIGGER ins_stuAFTER INSERT ON student FOR EACH ROWINSERT INTO cj(NUMBER,stu_id,stu_name,math,c
2022-04-03 16:50:07
129
原创 爬虫-----刘飞
目录配至全局属性确认要提取的数据写爬虫程序管道输出运行执行项目Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试.Scrapy框架主要由五大组件组成，它们分别是调度器(Scheduler)、下载器(Downloader)、爬虫（Spider）和实体管道(Item Pipeline)、Scrapy引擎(Scrapy Engine)。下面我们分别介绍各个组
2022-04-03 16:40:08
58
原创 Hbase------刘飞
目录1.索引介绍2.普通索引：创建索引、修改添加索引，创建表指定索引、删除索引3.唯一索引4.组合索引1.索引介绍1.什么是索引？一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，在生产环境中，我们遇到最多的，也是最容易出问题的，还是一些复杂的查询操作，因此对查询语句的优化显然是重中之重。说起加速查询，就不得不提到索引了。2.普通索引：创建索引，修改添加索引，删除索引直接创建索引#1.1.创建索引:单独创建索引CREAT
2022-03-20 16:54:21
1800
原创 Linux指令----刘飞
1、什么是shell什么是shell什么是shell？Shell（外壳）是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言，又是一种程序设计语言。Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。2.shell进阶过程：代码：变量的含义a.什么是量量就是数据b.什么是变量数据可以发生改变就是变量.在一个脚本周期内,其值可以发生改变的量就是变量c.什么叫做一个脚本周期一个脚本周期我们可以简单的理.
2022-03-19 20:33:21
517
原创 爬虫-----刘飞
入门from urllib import request# 构造一个请求req = request.Request("http://www.baidu.com")# 然后在打开网页resp = request.urlopen(req)# 读取网页内容print(resp.read())#打开网页reponse=request.urlopen("http://www.baidu.com")#read方法读取网页内容print(reponse.read())爬虫程序添加d...
2022-03-13 20:06:42
48
原创 Hbase------刘飞
建库CREATE DATABASE dbtest DEFAULT CHARSET utf8;USE dbtest;建表CREATE TABLE IF NOT EXISTS websites(id INT PRIMARY KEY AUTO_INCREMENT,NAME VARCHAR(50) NOT NULL,url VARCHAR(50) NOT NULL,alexa INT NOT NULL COMMENT "网站排名",country VARCHAR(20) NOT NULL
2022-03-11 20:58:35
2849
原创 Linux指令----刘飞
基础指令ls(list):可以列出当前在工作中的文件/文件夹的名字ls-la和#ls-l路径选项解释：-l：表示list，表示以详细列表的形式进行展示-a：表示显示所有的文件/文件夹（包含了隐藏文件/文件夹）ppwd: printworkingdirectory，打印当前工作目录cd（changedirectory）:改变目录mkdir(makedirectory):创建目录在文件系统中创建一个abc文件，用mkdir+abc,再用l...
2022-03-11 20:02:13
894
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人