陈崇人挺好-CSDN博客

原创 Mysql数据库思维导图

Mysql数据库思维导图Mysql数据库流程图:mysql 数据类型：字符串 varchar char text 日期 date 数值 DECIMAL TINYINT SMALLINT MEDIUMINT INT或INTEGER...

2022-05-08 15:13:10 737

PowerDesigner最基础的使用方法入门学习1：入门级使用PowerDesigner软件创建数据库我的PowerDesigner版本是16.5的，如若版本不一样，请自行参考学习即可。（打开软件即是此页2：首先创建概念数据模型，如图所示（后面介绍一些比如物理数据模型等等，由于此软件全部是英文的，所以作为一个chinese不是很懂的，耐心的多使用几次就好了。）请自行脑补概念模型(CDM Conceptual Data Model)物理模型（PDM,Physical Data

2022-05-08 13:54:50 136

原创 hadoop-2.6.1 winutil处理

原始数据HDFSwordshello tom hello jerry hello kitty hello world hello tom Map阶段1.每次读一行数据,2.拆分每行数据,3.每个单词碰到一次写个1<0, "hello tom"><10, "hello jerry"><22, "hello kitty"><34, "hello world">

2022-05-08 13:43:40 106

原创网络爬虫、Pandas

Pandas 是 Python 语言的一个扩展程序库，用于数据分析。Pandas 是一个开放源码、BSD 许可的库，提供高性能、易于使用的数据结构和数据分析工具。Pandas 名字衍生自术语 "panel data"（面板数据）和 "Python data analysis"（Python 数据分析）。Pandas 一个强大的分析结构化数据的工具集，基础是 Numpy（提供高性能的矩阵运算）。Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数

2022-05-01 20:24:09 109

原创 MySQL、索引优化&参数优化

1.对查询进行优化应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t where num=03.应尽量避免在 where 子句中使用!=或<&

2022-05-01 20:19:49 283

原创 hadoop2.2.0、HDFS的java访问接口

4.5.1.搭建 Hadoop 开发环境我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开发阶段，我们使用 windows 下的 eclipse 作为开发环境，访问运行在虚拟机中的 HDFS。也就是通过在本地的 eclipse 中的 java 代码访问远程 linux 中的 hdfs。要使用宿主机中的 java 代码访问客户机中的 hdfs，需要保证以下几点：确保宿主机与客户机的网络是互通的确保宿主机和客户机的防火墙都关闭，因为很多端口需要通过，为了减少防火墙配置

2022-05-01 20:11:52 84

原创 numpy函数

准备工作:pip install numpy把numpy模块安装好代码如下:import numpy as np# 数组元素字符串连接print('连接两个字符串:')print(np.char.add(['hello'], ['zmt']))print(np.char.add(['hello', 'hi'], ['zmt', 'cyt']))print('\n')# multiply()函数执行多重连接print(np.char.multiply('cyt', 3))pr

2022-04-24 12:54:09 629

原创 Java操作HDFS

准备工作:Hadoop环境变量配置jdk环境变量配置不详细演讲下面直接演示代码:(如下)import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;import org.junit.Before;import java.io.File;import java.io.FileOutputStream;import ja

2022-04-24 12:53:05 1949

原创 MySQL查询优化

USE test;CREATE TABLE IF NOT EXISTS emp(id INT PRIMARY KEY AUTO_INCREMENT,NAME VARCHAR(20),age INT,salary FLOAT);创建存储过程DELIMITER $CREATE PROCEDURE emp()BEGIN定义一个循环变量DECLARE i INT DEFAULT 0;WHILE(i<1000) DOBEGINSELECT i;SET i=i+.

2022-04-24 12:43:39 630

原创 hadoop2.2.0伪分布式搭建

1.准备Linux环境 1.1 开启网络,ifconfig指令查看ip 1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的...

2022-04-11 21:35:25 2524

原创 MySQL范式、存储过程、自定义函数、逻辑运算符和循环

第一范式(1NF)数据表的每一列都要保持它的原子特性，也就是列不能再被分割。第二范式(2NF)属性必须完全依赖于主键，消除部分依赖。分数依赖：学号、课名（相当于联合主键）姓名依赖：学号（主键）缺点：表中的第一行数据都存储了系名、系主任,数据的冗余太大如果有一个新的系还没有开始找到学生，那么不能讲该系的信息添加到数据表中去，从数据表中看不到该系的存在如果将某个系的学生信息全部删除，那么这个系在数据表里也就不存在了，但这个系还存在。如果某个人要转系，那么为了保证数据库中数据的一致..

2022-04-11 21:25:43 508

原创网络爬虫 xpath表达式

在编写爬虫程序的过程中提取信息是非常重要的环节，但是有时使用正则表达式无法匹配到想要的信息，或者书写起来非常麻烦，此时就需要用另外一种数据解析方法，也就是本节要介绍的 Xpath 表达式。Xpath表达式XPath（全称：XML Path Language）即 XML 路径语言，它是一门在 XML 文档中查找信息的语言，最初被用来搜寻 XML 文档，同时它也适用于搜索 HTML 文档。因此，在爬虫过程中可以使用 XPath 来提取相应的数据。提示：XML 是一种遵守 W3C 标椎的标记语言

2022-04-11 21:21:08 85

原创 Linux的权限

Linux的权限管理操作Linux的权限操作与用户、用户组是兄弟操作。一、权限概述总述：Linux系统一般将文件可存/取访问的身份分为3个类别：owner、group、others，且3种身份各有read、write、execute等权限。1、权限介绍什么是权限？在多用户（可以不同时）计算机系统的管理中，权限是指某个特定的用户具有特定的系统资源使用权力，像是文件夹、特定系统指令的使用或存储量的限制。在Linux中分别有读、写、执行权限：读权限：对于文件夹来说，读权限.

2022-04-03 15:50:40 1973