- 博客(20)
- 收藏
- 关注
RSS订阅原创 PowerDesigner建模
PowerDesigner最基础的使用方法入门学习1：入门级使用PowerDesigner软件创建数据库我的PowerDesigner版本是16.5的，如若版本不一样，请自行参考学习即可。（打开软件即是此页面，可选择Create Model,也可以选择Do Not Show page Again,）2：首先创建概念数据模型，如图所示（后面介绍一些比如物理数据模型等等，由于此软件全部是英文的，所以作为一个chinese不是很懂的，耐心的多使用几次就好了。）请自行脑补概念模型(C...
2022-05-08 19:12:59
82
原创 hadoop-2.6.1 winutil处理
原始数据HDFSwordshello tom hello jerry hello kitty hello world hello tom Map阶段1.每次读一行数据,2.拆分每行数据,3.每个单词碰到一次写个1<0, "hello tom"><10, "hello jerry"><22, "hello kitty"><34, "hello world">.
2022-05-08 19:01:08
53
原创 hadoop2.2.0&HDFS的java访问接口
4.5.1.搭建 Hadoop 开发环境我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开发阶段，我们使用 windows 下的 eclipse 作为开发环境，访问运行在虚拟机中的 HDFS。也就是通过在本地的 eclipse 中的 java 代码访问远程 linux 中的 hdfs。要使用宿主机中的 java 代码访问客户机中的 hdfs，需要保证以下几点：确保宿主机与客户机的网络是互通的确保宿主机和客户机的防火墙都关闭，因为很多端口需要通过，为了减少防火墙配.
2022-05-01 19:47:50
35
原创 mysql索引优化
大公司甚至有专门写mysql内核的，sql优化攻城狮，mysql服务器的优化，各种参数常量设定，查询语句优化，主从复制，软硬件升级，容灾备份，sql编程，需要的不是一星半点的知识与时间来掌握，作为一名像俺这样的菜鸟开发，强吃这么多消化不了也没意义：没地儿用啊，况且还有运维和dba，还不如把手头的业务写好，也就是写好点的sql，而且很多sql语句优化跟索引还是有很大关系的。mysql的查询流程mysql客户端通过协议与mysql服务器建立连接，发送查询语句，先检查查询缓存，如果命中，直接返回结果.
2022-05-01 19:43:58
34
原创 Pandas
Pandas 是 Python 语言的一个扩展程序库，用于数据分析。Pandas 是一个开放源码、BSD 许可的库，提供高性能、易于使用的数据结构和数据分析工具。Pandas 名字衍生自术语 "panel data"（面板数据）和 "Python data analysis"（Python 数据分析）。Pandas 一个强大的分析结构化数据的工具集，基础是 Numpy（提供高性能的矩阵运算）。Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数
2022-05-01 19:36:49
76
原创 java操作hdfs
package cn.itcast.hadoop.hdfs;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import java.ne.
2022-04-24 23:40:43
43
原创 MySQL优化
mysql查询优化mysql的性能优化包罗甚广： 索引优化，查询优化，查询缓存，服务器设置优化，操作系统和硬件优化，应用层面优化（web服务器，缓存）等等。这里的记录的优化技巧更适用于开发人员，都是从网络上收集和自己整理的，主要是查询语句上面的优化，其它层面的优化技巧在此不做记录。count的优化#比如：计算id大于5的城市 #a语句 select count(*) from world.city where id > 5;#b语句select (select count(*
2022-04-24 23:32:50
47
原创 numpy
numpy安装Microsoft Windows [版本 10.0.19043.1645](c) Microsoft Corporation。保留所有权利。 C:\WINDOWS\system32>pip install numpyRequirement already satisfied: numpy in c:\users\1234\anaconda3\lib\site-packages (1.20.3)NumPy Ndarray 对象NumPy 最重要的一个特点是其 N 维
2022-04-24 23:23:51
34
原创 Xpath表达式
XPath（全称：XML Path Language）即 XML 路径语言，它是一门在 XML 文档中查找信息的语言，最初被用来搜寻 XML 文档，同时它也适用于搜索 HTML 文档。因此，在爬虫过程中可以使用 XPath 来提取相应的数据。提示：XML 是一种遵守 W3C 标椎的标记语言，类似于 HTML，但两者的设计目的是不同，XML 通常被用来传输和存储数据，而 HTML 常用来显示数据。您可以将 Xpath 理解为在XML/HTML文档中检索、匹配元素节点的工具。Xpath 使用路径表达
2022-04-11 23:30:53
95
原创 MySQL范式
第一范式(1NF)数据表的每一列都要保持它的原子特性，也就是列不能再被分割。第二范式(2NF)属性必须完全依赖于主键，消除部分依赖。分数依赖：学号、课名（相当于联合主键） 姓名依赖：学号（主键）缺点：表中的第一行数据都存储了系名、系主任,数据的冗余太大 如果有一个新的系还没有开始找到学生，那么不能讲该系的信息添加到数据表中去，从数据表中看不到该系的存在 如果将某个系的学生信息全部删除，那么这个系在数据表里也就不存在了，但这个系还存在。 如果某个人要转系，那么为了保证数据库中数据的一致性
2022-04-11 23:19:18
482
原创 hadoop2.2.0伪分布式搭建
1.准备Linux环境 1.1 开启网络,ifconfig指令查看ip 1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的映射关系 vim /etc/hosts 192.168.182.128 hadoop 1.4关闭防火墙 #查看防...
2022-04-11 23:15:59
32
原创 Linux的权限管理操作
Linux的权限操作与用户、用户组是兄弟操作。一、权限概述总述：Linux系统一般将文件可存/取访问的身份分为3个类别：owner、group、others，且3种身份各有read、write、execute等权限。1、权限介绍什么是权限？在多用户（可以不同时）计算机系统的管理中，权限是指某个特定的用户具有特定的系统资源使用权力，像是文件夹、特定系统指令的使用或存储量的限制。在Linux中分别有读、写、执行权限：读权限：对于文件夹来说，读权限影响用户是否能够列出目录结..
2022-04-03 14:11:39
308
原创 MySQL事务&触发器&存储过程
1.MySQL 事务#开启事务BEGIN#提交事务COMMIT#创建表CREATE TABLE IF NOT EXISTS runoob(id INT(5))ENGINE=INNODB;SELECT * FROM runoob;#开启事务BEGIN#输入INSERT INTO runoob VALUES(3);#回滚ROLLBACK;SELECT * FROM runoob2.触发器一、触发器概念触发器（trigger）：监视某种情况，并触发某种操作，它是
2022-04-03 14:06:53
70
原创 scrapy框架入门与使用
1.scrapy的安装python -m pip install --upgrade pippip install wheelpip install lxmlpip install twistedpip install pywin32pip install scrapy2.scrapy的入门案例1.创建项目打开cmd，输入(默认是在C:\Users\Administrator>这个目录下，你可以自行切换）：scrapy startproject myfirs
2022-04-03 13:48:59
488
原创 mysql高级
1.什么是索引？一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，在生产环境中，我们遇到最多的，也是最容易出问题的，还是一些复杂的查询操作，因此对查询语句的优化显然是重中之重。说起加速查询，就不得不提到索引了。2.为什么要有索引呢？索引在MySQL中也叫做“键”，是存储引擎用于快速找到记录的一种数据结构。索引对于良好的性能 非常关键，尤其是当表中的数据量越来越大时，索引对于性能的影响愈发重要。 索引优化应该是对查询性能优化最有效的手段了。索引能够轻易将查询性能
2022-03-20 22:58:30
36
原创 Shell基础
1、什么是shell目录1、什么是shell2、shell入门二、shell进阶（重点）1、变量（重点）1.1、变量的含义1.2、变量的定义与使用（重点）1.3、只读变量（了解）1.4、接收用户输入（重点）1.5、删除变量（了解）2、条件判断语句3、运算符3.1、算数运算符3.2、关系运算符3.3、逻辑运算符3.4、字符串运算符3.5、文件测试运算符（重点）4、shell脚本附带选项（重点）什么是shell？Shell（外壳
2022-03-20 22:27:02
50
原创 Linux指令
1.基础指令语法目录1.基础指令语法1、ls指令2、pwd指令3、cd指令4、mkdir指令5、touch指令6、cp指令7、mv指令8、rm指令9、vim指令10、输出重定向11、cat指令2.中级指令语法1、df指令2、free指令3、head指令4、tail指令5、less指令6、wc指令7、date指令（重点）8、cal指令9、clear/ctrl + L指令10、管道（重要）3.高级指令语法一、
2022-03-13 23:49:52
182
原创 --爬虫基础--
1、爬虫入门程序urllib2 实现下载网页的三种方式print "第二种方法"request = urllib2.Request(url)#模拟Mozilla浏览器进行爬虫request.add_header("user-agent","Mozilla/5.0")response2 = urllib2.urlopen(request)print response2.getcode()print len(response2.read())print "第三种方法"cook.
2022-03-13 23:29:39
1129
原创 MySQL基础语法
1、建库建表语句2、增删查改语句3、表关联查询4、子查询1、建库建表语句2、增删查改语句3、表关联查询SELECT t1.*,t2.* FROM table_name1 t1 INNER JOIN table_name2 t2 ON t1.id=t2.id;4、子查询例:查询StudentInfo表中所有upwd与用户zhangsan一样的用户名SELECT * FROM StudentInfoWHERE upwd=(S
2022-03-13 14:36:29
871
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人