石长鑫-CSDN博客

原创 hadoop-2.6.1 winutil处理

原始数据HDFSwordshello tomhello jerryhello kittyhello worldhello tomMap阶段1.每次读一行数据,2.拆分每行数据,3.每个单词碰到一次写个1<0, "hello tom"><10, "hello jerry"><22, "hello kitty"><34, "hello world"><46, "hello tom...

2022-05-07 16:28:29 151

1：入门级使用PowerDesigner软件创建数据库我的PowerDesigner版本是16.5的，如若版本不一样，请自行参考学习即可。（打开软件即是此页面，可选择Create Model,也可以选择Do Not Show page Again,）2：首先创建概念数据模型，如图所示（后面介绍一些比如物理数据模型等等，由于此软件全部是英文的，所以作为一个chinese不是很懂的，耐心的多使用几次就好了。）请自行脑补概念模型(CDM Conceptual Data Model)物理模型..

2022-05-07 16:27:08 146

原创 Mysql数据库思维导图

Mysql数据库流程图:mysql数据类型:字符串varcharCHARTINYBLOBTINYTEXTBLOBTEXTMEDIUMBLOBMEDIUMTEXTLONGBLOBLONGTEXT日期DATETIMEYEARDATETIMETIMESTAMP数值TINYINTSMALLINTMEDIUMINTINT或INTEGERFLOATDOUBLEDECIMAL建库建表#建库CREATEDATABASE IF NOT EXISTSyuesu D

2022-05-07 16:24:45 361

原创 hadoop2.2.0&HDFS的java访问接口

4.5.1.搭建 Hadoop 开发环境我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开发阶段，我们使用 windows 下的 eclipse 作为开发环境，访问运行在虚拟机中的 HDFS。也就是通过在本地的 eclipse 中的 java 代码访问远程 linux 中的 hdfs。要使用宿主机中的 java 代码访问客户机中的 hdfs，需要保证以下几点：确保宿主机与客户机的网络是互通的确保宿主机和客户机的防火墙都关闭，因为很多端口需要通过，为了减少防火墙配置

2022-04-30 15:01:50 85

原创 MySQL&索引优化&参数优化

1.对查询进行优化应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t where num=03.应尽量避免在 where 子句中使用!=或<>操作符，否

2022-04-30 14:58:08 337

原创网络爬虫&Pandas

Pandas 是 Python 语言的一个扩展程序库，用于数据分析。Pandas 是一个开放源码、BSD 许可的库，提供高性能、易于使用的数据结构和数据分析工具。Pandas 名字衍生自术语 "panel data"（面板数据）和 "Python data analysis"（Python 数据分析）。Pandas 一个强大的分析结构化数据的工具集，基础是 Numpy（提供高性能的矩阵运算）。Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数

2022-04-30 14:52:11 97

原创 hadoop2.2.0&ssh免登陆&HDFS的shell操作&HDFS的java访问接口

ssh免登陆生成ssh免登陆密钥1 cd ~，进入到我的home目录2 cd .ssh/3 ssh-keygen -t rsa （四个回车）4执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）5将公钥拷贝到要免登陆的机器上 cat ~/.ssh/id_rsa.pub >> ~/.ssh/au...

2022-04-24 21:45:18 78

原创网络爬虫Python+numpy

numpy介绍NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。NumPy 的前身 Numeric 最早是由 Jim Hugunin 与其它协作者共同开发，2005 年，Travis Oliphant 在 Numeric 中结合了另一个同性质的程序库 Numarray 的特色，并加入了其它扩展而开发了 NumPy。NumPy 为开放源代码并且由许多协作者共同维护开发。numpy安装Micr

2022-04-21 21:24:28 130

原创 MySQL优化

mysql查询优化mysql的性能优化包罗甚广：索引优化，查询优化，查询缓存，服务器设置优化，操作系统和硬件优化，应用层面优化（web服务器，缓存）等等。这里的记录的优化技巧更适用于开发人员，都是从网络上收集和自己整理的，主要是查询语句上面的优化，其它层面的优化技巧在此不做记录。count的优化#比如：计算id大于5的城市#a语句select count(*) from world.city where id > 5;#b语句select (select count(*) fro..

2022-04-21 21:01:03 57

原创网络爬虫 xpath表达式

在编写爬虫程序的过程中提取信息是非常重要的环节，但是有时使用正则表达式无法匹配到想要的信息，或者书写起来非常麻烦，此时就需要用另外一种数据解析方法，也就是本节要介绍的 Xpath 表达式。Xpath表达式XPath（全称：XML Path Language）即 XML 路径语言，它是一门在 XML 文档中查找信息的语言，最初被用来搜寻 XML 文档，同时它也适用于搜索 HTML 文档。因此，在爬虫过程中可以使用 XPath 来提取相应的数据。提示：XML 是一种遵守 W3C 标椎的标记语言，类似于

2022-04-09 17:19:08 132

原创 MySQL存储过程&自定义函数&逻辑运算符和循环

存储过程MySQL 5.0 版本开始支持存储过程。存储过程（Stored Procedure）是一种在数据库中存储复杂程序，以便外部程序调用的一种数据库对象。存储过程是为了完成特定功能的SQL语句集，经编译创建并保存在数据库中，用户可通过指定存储过程的名字并给定参数(需要时)来调用执行。存储过程思想上很简单，就是数据库 SQL 语言层面的代码封装与重用。优点存储过程可封装，并隐藏复杂的商业逻辑。存储过程可以回传值，并可以接受参数。存储过程无法使用 SELECT 指令来运行，因为它是子程

2022-04-09 17:16:15 301

原创 hadoop2.2.0伪分布式搭建

1.准备Linux环境 1.1 开启网络,ifconfig指令查看ip 1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的...

2022-04-09 17:13:42 45

原创 Scrapy框架入门

一、概述Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpi

2022-04-02 08:31:24 137

原创 Mysql视图&事务&触发器&存储过程

1视图视图是干什么用的？视图（view）是一种虚拟存在的表，是一个逻辑表，本身并不包含数据。作为一个select语句保存在数据字典中的。为什么要使用视图？因为视图的诸多优点，如下1 简单：使用视图的用户完全不需要关心后面对应的表的结构、关联条件和筛选条件，对用户来说已经是过滤好的复合条件的结果集。2 安全：使用视图的用户只能访问他们被允许查询的结果集，对表的权限管理并不能限制到某个行某个列，但是通过视图就可以简单的实现。3 数据独立：一旦视图的结构确定了，可以屏蔽表结构变化对用户的影响，源表

2022-04-02 08:28:31 77

原创 Linux的权限管理操作

Linux的权限管理操作Linux的权限操作与用户、用户组是兄弟操作。一、权限概述总述：Linux系统一般将文件可存/取访问的身份分为3个类别：owner、group、others，且3种身份各有read、write、execute等权限。1、权限介绍什么是权限？在多用户（可以不同时）计算机系统的管理中，权限是指某个特定的用户具有特定的系统资源使用权力，像是文件夹、特定系统指令的使用或存储量的限制。在Linux中分别有读、写、执行权限：读权限：对于文件夹来说，读权...

2022-04-02 08:23:53 868

原创 Mysql索引

1.什么是索引？一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，在生产环境中，我们遇到最多的，也是最容易出问题的，还是一些复杂的查询操作，因此对查询语句的优化显然是重中之重。说起加速查询，就不得不提到索引了。 2.为什么要有索引呢？索引在MySQL中也叫做“键”，是存储引擎用于快速找到记录的一种数据结构。索引对于良好的性能非常关键，尤其是当表中的数据量越来越大时，索引对于性能的影响愈发重要。索引优化应该是对查询性能优化最有效的手段了。索引能够轻易将查询性能提高好

2022-03-19 15:41:17 49

ryfxff的博客