- 博客(20)
- 收藏
- 关注
RSS订阅
1原创 Hadoop winutil处理
原始数据HDFSwordshello tom hello jerry hello kitty hello world hello tom Map阶段1.每次读一行数据,2.拆分每行数据,3.每个单词碰到一次写个1<0, "hello tom"><10, "hello jerry"><22, "hello kitty"><34, "hello world
2022-05-08 20:11:33
220
原创 四种统计图
折线图import numpy as npimport matplotlib.pyplot as plt#准备数据ypoints=np.array([5,6,8,45,56,12,45,31,2,89])#数据放进图标plt.plot(ypoints,'o:y')# 复合样式plt.plot(ypoints,marker='o',ls=":",color='g',linewidth=2)# 单一样式# plt.plot(ypoints2)#添加标题，x轴名字,y轴名字plt.t
2022-05-08 13:12:04
511
原创 数据库思维导图
数据 类型字符串varcharchar数值intfloat日期datedatetime增删改查增：insert into 表名( 字段 , 字段 , ... ) values( 数据1 , 数据2 , ... )删：drop table 表名改：update 表名 set 需要修改的字段=需要修改的数值 where 条件字段=条件查：...
2022-05-07 22:50:26
407
原创 网络爬虫(Pandas)
学习本教程前你需要了解在开学习 Pandas 教程之前，我们需要具备基本的 Python 基础，如果你对 Python还不了解，可以阅读我们的教程：Python 2.x 版本Python 3.x 版本Pandas 应用Pandas 的主要数据结构是 Series （一维数据）与 DataFrame（二维数据），这两种数据结构足以处理金融、统计、社会科学、工程等领域里的大多数典型用例。数据结构Series 是一种类似于一维数组的对象，它由一组数据（各种Numpy数据类型）以及一组与之相关的数
2022-05-01 22:34:36
1675
原创 MySQL、索引优化&参数优化
1、对查询进行优化应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2、应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t where num=03、应尽量避免在 where 子句中使用!=或<
2022-05-01 22:26:55
120
原创 HDFS的java访问接口
4.5.1.搭建 Hadoop 开发环境我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开发阶段，我们使用 windows 下的 eclipse 作为开发环境，访问运行在虚拟机中的 HDFS。也就是通过在本地的 eclipse 中的 java 代码访问远程 linux 中的 hdfs。要使用宿主机中的 java 代码访问客户机中的 hdfs，需要保证以下几点：确保宿主机与客户机的网络是互通的确保宿主机和客户机的防火墙都关闭，因为很多端口需要通过，为了减少防火墙配置
2022-05-01 22:10:52
353
原创 MySQL查询优化
USE test; CREATE TABLE IF NOT EXISTS emp(id INT PRIMARY KEY AUTO_INCREMENT,NAME VARCHAR(20),age INT,salary FLOAT);创建存储过程DELIMITER $CREATE PROCEDURE emp() BEGIN定义一个循环变量DECLARE i INT DEFAULT 0;WHILE(i<1000) DOBEGINSELECT i;SE.
2022-04-24 21:27:47
51
原创 Java操作Hdfs
java代码package cn.itcast.hadoop.hdfs;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import
2022-04-24 19:02:19
1519
原创 Numpy入门级
结构numpy.array(object, dtype = None, copy = True, order = None, subok = False, ndmin = 0)名称: 描述:object 数组或嵌套的数列dtype 数组元素的数据类型，可选copy 对象是否需要复制，可选order 创建数组的样式，C为行方向，F为列方向，A为任意方向（默认）subok 默认返回一个与基类类型一致...
2022-04-24 18:52:34
2186
原创 hadoop2.2.0伪分布式搭建
1.准备Linux环境 1.1 开启网络,ifconfig指令查看ip 1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的映射关系 vim /etc/hosts 192.168.182.128 hadoop 1.4关...
2022-04-11 22:05:22
68
原创 MySQL 的建表规范样式
第一范式(1NF)数据表的每一列都要保持它的原子特性，也就是列不能再被分割。这张表就不符合第一范式规定的原子性，不符合关系型数据库的基本要求，在关系型数据库中创建这个表的操作就不能成功。不得不将数据表设计为如下形式。第二范式(2NF)属性必须完全依赖于主键，消除部分依赖。下表问题在哪？分数依赖：学号、课名（相当于联合主键）姓名依赖：学号（主键）缺点表中的第一行数据都存储了系名、系主任,数据的冗余太大如果有一个新的系还没有开始找到学生，那么不能讲该..
2022-04-11 22:02:06
987
原创 XPath 语法
XPath语法XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。XML 实例文档我们将在下面的例子中使用这个 XML 文档。实例<?xml version="1.0" encoding="UTF-8"?> <bookstore> <book> <title lang="eng">Harry...
2022-04-11 21:41:18
88
原创 ssh服务（linux）
ssh服务ssh（secure shell，安全外壳协议），该协议有2个常用的作用：远程连接协议、远程文件传输协议。协议使用端口号：默认是22可以是被修改的，如果需要修改，则需要修改ssh服务的配置文件：#/etc/ssh/ssh_config端口号可以修改，但是得注意2个事项： a. 注意范围，端口范围是从0-65535； b. 不能使用别的服务已经占用的端口；服务启动/停止/重启#service sshd st...
2022-04-03 21:22:31
381
原创 MySQL事务，存储、触发器
【事务】原子性：一个事务（transaction）中的所有操作，要么全部完成，要么全部不完成，不会结束在中间某个环节。事务在执行过程中发生错误，会被回滚（Rollback）到事务开始前的状态，就像这个事务从来没有执行过一样。一致性：在事务开始之前和事务结束以后，数据库的完整性没有被破坏。这表示写入的资料必须完全符合所有的预设规则，这包含资料的精确度、串联性以及后续数据库可以自发性地完成预定的工作。隔离性：数据库允许多个并发事务同时对其数据进行读写和修改的能力，隔离性可以防止多个事务并发执行时由于
2022-04-03 21:03:49
207
原创 爬虫基础_CJunZero
1、导入包from http import cookiejarfrom urllib import request2、创建MoziilaCookieJar的实例对象cookiecookie = cookiejar.MozillaCookieJar()3、从文件中加载cookiecookie.load('cookie.txt',ignore_discard=True,ignore_expires=True)4、创建处理器handler =
2022-03-13 18:23:53
315
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人