Neko-龙腾-CSDN博客

原创 MapReduce——龙腾

HadoopMapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。Map类import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.map.

2022-05-08 21:31:41 69

原创 sql复习——龙腾

sql复习 3大数据类型字符串 varchar char 日期 data time year 数值 int float double 增删查改增：insert into user(name,gender) values ("zhangsan","nan") 删:delete from user w...

2022-05-08 21:27:42 445

原创爬虫四种统计图带码——龙腾

线型图import matplotlib.pyplot as mplimport numpy as np #定义数据ypoints=np.array([1,3,9,25,12,32,5,1])#数据插入到图表# mpl.plot(ypoints,'o:g')# mpl.plot(ypoints,marker='o',linestyle=':',color='g')mpl.plot(ypoints,marker='o',ls=':',c='r')mpl.plot(ypoints,ma

2022-05-08 21:26:41 61

原创 pandas__龙腾

使用前先下载pandas包，pip install pandasSeriesPandas Series类似表格中的一个列（column），类似于一维数组，可以保存任何数据类型。import pandas as pa; print(pa.__version__) #定义字典mydataset ={ 'size':["Goole","Runoob","wiki"], 'number':[1,2,3]} #将字典转换为DataFrame,才能处理mydf=pa.

2022-05-01 20:17:20 42

原创查询优化__龙腾

CREATE TABLE t( id INT, num INT DEFAULT 0, NAME VARCHAR(20)) DELIMITER $CREATE PROCEDURE t()BEGINDECLARE i INT DEFAULT 0;DECLARE f INT DEFAULT 1;WHILE(i<1000) DO BEGIN SELECT i; SELECT f; SET i=i+1; SET f=f+1; INSERT INTO t(id,nu..

2022-05-01 20:13:05 167

原创 Java操作HDFS__龙腾

package cn.itcast.hadoop.hdfs; import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import java.n.

2022-04-24 20:37:26 44

原创 sql查询优化__龙腾

#避免的情况 != , < > ,is null , in not null, in , not inSELECT COUNT(*) FROM emp WHERE age IN(SELECT age FROM emp WHERE id >100);SELECT COUNT(*) FROM emp WHERE EXISTS(SELECT age FROM emp WHERE id > 100); CREATE TABLE t1(c1 INT,c2 INT)CREAT..

2022-04-24 20:36:10 52

原创 python _ numpy函数_龙腾

import numpy as np #创建空数组e=np.empty([3,4],dtype=float,order='C')print(e) #创建0数组z=np.zeros([4,5],dtype=int,order="C")print(z) #创建1数组o=np.ones([4,2],dtype=[('x','i1'),('y','i2')],order="C")print(o) #从已有数组中创建数组x=[1,2,3]a=np.asarray(x,dtype='.

2022-04-24 20:34:48 73

原创数据库建表三范式__龙腾

第一范式建表第一范式需要保证每列的原子性，即所有字段下不能再分字段，比如进货可以分为进货数量，进货单价，进货不能作为字段第二范式第二范式在第一范式的基础上，需要保证每一列都和主键相关，不能有部分依赖主键的第三范式第三范式需要保证每一列都和主键是直接相关的，不能间接相关，即消除传递依赖...

2022-04-10 18:48:56 551

原创 xpath——龙腾

from lxml import etree s=""" <?xml version="1.0" encoding="UTF-8"?> <bookstore> <book> <title lang="eng">Harry Potter</title> <price>29.99</price> </book&g.

2022-04-10 18:47:36 42

原创 Hadoop——龙腾

1.权限认知-rwxr--rw-.十个字段由左到右分别是:1（文件类型）,2 - 4（文件所属者的权限），5 - 7（同组用户权限），8 - 10（其他人权限)r:可读 w:可写 x:可执行root root前面一个是文件所属，第二个是目前用户后面是时间和大小15：文件夹名字chmod 需要给谁的权限+什么权限文件名chmod 777 文件名字chown : 更改文件所属用户#chown-R username文档路径2...

2022-04-03 18:47:11 2702

原创 scrapy——龙腾

命令提示符下载需要的依赖包python -m pip install --upgrade pip 这条是更新pip install wheelpip install lxmlpip install twistedpip install pywin32pip install scrapy下一步创建项目cd desktop 切换工作目录到桌面，将文件保存到桌面scrapy startproject TXmovies 创建项目cd TXmoviesscrapy gen.

2022-04-03 18:39:28 41

原创 mysql 视图事务存储过程触发器——龙腾

视图 View逻辑上的虚拟表#创建视图CREATE VIEW s_t(编号,姓名,性别,出生日期)ASSELECT * FROM student WITH CHECK OPTION #查询视图SELECT * FROM s_t #部分视图创建数据CREATE VIEW s_t_2(编号,姓名,性别,出生日期)ASSELECT * FROM student WHERE NAME='卫庄' WITH CHECK OPTION #约束条件 name=‘卫庄’ 下面那条张三

2022-04-03 18:35:43 248

原创 Shell脚本__龙腾

一、关于Shell1.什么是shell？Shell（外壳）是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言，又是一种程序设计语言。Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务2.shell入门代码规范：#!/bin/bashshell 相关指令文件命名规范：文件名.sh .sh是linux下bash shell 的默认后缀使用流程：1.创建.sh文件 touch/vim

2022-03-20 20:40:49 110

原创 python爬取__龙腾

from urllib import requestimport re #定义urlpage=100url='https://tieba.baidu.com/f?kw=%E6%AE%B5%E5%AD%90&ie=utf-8&pn='+str(page)try: #定义请求头 headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, li.

2022-03-20 20:05:41 50

原创 Mysql索引__龙腾

什么是索引？一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，在生产环境中，我们遇到最多的，也是最容易出问题的，还是一些复杂的查询操作，因此对查询语句的优化显然是重中之重。说起加速查询，就不得不提到索引了。为什么要有索引呢？索引在MySQL中也叫做“键”，是存储引擎用于快速找到记录的一种数据结构。索引对于良好的性能非常关键，尤其是当表中的数据量越来越大时，索引对于性能的影响愈发重要。索引优化应该是对查询性能优化最有效的手段了。索引能够轻易将查询性能提高好几个数

2022-03-20 18:21:27 67

原创爬虫基础_龙腾

1、爬虫入门程序#1from urllib import request#构造一个请求req = request.Request("http://www.baidu.com")#打开网页resp = request.urlopen(req)#读取网页的内容print(resp.read())#2#打开网页reponse=request.urlopen("http://www.baidu.com")#read方法读取网页内容print(reqonse.read())

2022-03-13 19:06:04 70

原创 SQL基础语法_龙腾

建库建表：CREATE DATABASE IF NOT EXISTS test2 DEFAULT CHARSET utf8;USE test2;CREATE TABLE IF NOT EXISTS websites2(id INT PRIMARY KEY AUTO_INCREMENT, NAME VARCHAR(50) NOT NULL, url VARCHAR(50) NOT NULL, alexa INT NOT NULL COMMENT '网站排名', country VARCHAR

2022-03-11 19:42:31 54

原创 linux_龙腾

内容：1.基础指令语法，举例2.中级指令语法，举例2.高级指令语法，举例1、ls指令含义：ls（list）用法1：#ls含义：列出当前工作目录下的所有文件/文件夹的名称用法2：#ls 路径含义：列出指定路径下的所有文件/文件夹的名称关于路径（重要）：路径可以分为两种：相对路径、绝对路径相对路径：相对首先得有一个参照物（一般就是当前的工作路径）；相对路径的写法：在相对路径中通常会用到2个符号“ ./”【表示当前目录下】、“../”【上一级目录下】

2022-03-11 14:07:09 1367

weixin_54557781的博客