- 博客(21)
- 收藏
- 关注
RSS订阅原创 PowerDesigner建模
PowerDesigner最基础的使用方法入门学习1：入门级使用PowerDesigner软件创建数据库我的PowerDesigner版本是16.5的，如若版本不一样，请自行参考学习即可。（打开软件即是此页2：首先创建概念数据模型，如图所示（后面介绍一些比如物理数据模型等等，由于此软件全部是英文的，所以作为一个chinese不是很懂的，耐心的多使用几次就好了。）请自行脑补概念模型(CDM Conceptual Data Model)物理模型（PDM,Physical Data M
2022-05-08 17:43:48
659
原创 winutil处理 hadoop-2.6.1
原始数据HDFSwordshello tom hello jerry hello kitty hello world hello tom Map阶段1.每次读一行数据,2.拆分每行数据,3.每个单词碰到一次写个1<0, "hello tom"> <10, "hello jerry"> <22, "hello kitty"> <34, "hello world"&g
2022-05-08 17:30:04
129
原创 网络爬虫、Pandas
Pandas 是 Python 语言的一个扩展程序库，用于数据分析。Pandas 是一个开放源码、BSD 许可的库，提供高性能、易于使用的数据结构和数据分析工具。Pandas 名字衍生自术语 "panel data"（面板数据）和 "Python data analysis"（Python 数据分析）。Pandas 一个强大的分析结构化数据的工具集，基础是 Numpy（提供高性能的矩阵运算）。Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数
2022-05-01 22:34:46
161
原创 MySQL、索引优化&参数优化
1.对查询进行优化应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t where num=03.应尽量避免在 where 子句中使用!=或<&
2022-05-01 22:29:11
77
原创 hadoop2.2.0、HDFS的java访问接口
4.5.1.搭建 Hadoop 开发环境我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开发阶段，我们使用 windows 下的 eclipse 作为开发环境，访问运行在虚拟机中的 HDFS。也就是通过在本地的 eclipse 中的 java 代码访问远程 linux 中的 hdfs。要使用宿主机中的 java 代码访问客户机中的 hdfs，需要保证以下几点：确保宿主机与客户机的网络是互通的确保宿主机和客户机的防火墙都关闭，因为很多端口需要通过，为了减少防火墙配置
2022-05-01 22:27:55
234
原创 numpy函数
准备工作:pip install numpy把numpy模块安装好代码如下:import numpy as np # 数组元素字符串连接print('连接两个字符串:')print(np.char.add(['hello'], ['zmt']))print(np.char.add(['hello', 'hi'], ['zmt', 'cyt']))print('\n') # multiply()函数执行多重连接print(np.char.multiply('cyt', 3))
2022-04-24 21:21:13
61
原创 Java操作HDFS
准备工作:Hadoop环境变量配置jdk环境变量配置不详细演讲下面直接演示代码:(如下):import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;import org.junit.Before; import java.io.File;import java.io.FileOutputStream;import
2022-04-24 21:19:30
77
原创 MySQL查询优化
USE test; CREATE TABLE IF NOT EXISTS emp(id INT PRIMARY KEY AUTO_INCREMENT,NAME VARCHAR(20),age INT,salary FLOAT);创建存储过程DELIMITER $CREATE PROCEDURE emp() BEGIN定义一个循环变量DECLARE i INT DEFAULT 0;WHILE(i<1000) DOBEGINSELECT i;SET i=.
2022-04-24 21:18:19
59
原创 hadoop2.2.0伪分布式搭建
1.准备Linux环境①开启网络,ifconfig指令查看ip②修改主机名为自己名字(hadoop)vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop③修改主机名和IP的映射关系vim /etc/hosts192.168.182.128 hadoop④关闭防火墙#查看防火墙状态service iptables status#关闭防火墙service iptables stop#关闭防火墙开机启动chkconfig iptables o
2022-04-12 08:59:51
77
原创 Linux的权限管理和自有服务
Linux的权限管理操作Linux的权限操作与用户、用户组是兄弟操作。一、权限概述总述：Linux系统一般将文件可存/取访问的身份分为3个类别：owner、group、others，且3种身份各有read、write、execute等权限。1、权限介绍什么是权限？在多用户（可以不同时）计算机系统的管理中，权限是指某个特定的用户具有特定的系统资源使用权力，像是文件夹、特定系统指令的使用或存储量的限制。在Linux中分别有读、写、执行权限：读权限： 对于文件...
2022-04-03 17:11:31
190
原创 MySQL视图、事务、触发器、存储过程
一、视图视图(VIEW)也被称作虚表，即虚拟的表，是一组数据的逻辑表示,其本质是对应于一条SELECT语句，结果集被赋予一个名字，即视图名字。视图本身并不包含任何数据，它只包含映射到基表的一个查询语句，当基表数据发生变化，视图数据也随之变化。MySQL中的视图操作创建视图CREATE VIEW v_author(编号,姓名)ASSELECT * FROM author WITH CHECK OPTION查询视图SELECT * FROM v_author创建多表视图
2022-04-03 16:55:44
130
原创 Scrapy框架
一、Scrapy概述Scrapy 是一个为了抓取网页数据、提取结构性数据而编写的应用框架，该框架是封装的，包含 request （异步调度和处理）、下载器（多线程的 Downloader）、解析器（selector）和 twisted（异步处理）等。对于网站的内容爬取，其速度非常快捷。二、Scrapy五大基本构成:Scrapy框架主要由五大组件组成，它们分别是调度器(Scheduler)、下载器(Downloader)、爬虫（Spider）和实体管道(Item Pipeline)、...
2022-04-03 16:41:41
1026
原创 Shell基础
Shell（外壳） 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell既是一种命令语言，又是一种程序设计语言。Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。脚本简单地说就是一条条的文字命令，这些文字命令是可以看到的（如可以用记事本打开查看、编辑）。常见的脚本：JavaScript（JS，前端），VBScript，ASP，JSP，PHP（后端），SQL（数...
2022-03-20 21:15:51
479
1
原创 Mysql进阶：索引
1.什么是索引？一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，在生产环境中，我们遇到最多的，也是最容易出问题的，还是一些复杂的查询操作，因此对查询语句的优化显然是重中之重。说起加速查询，就不得不提到索引了。 2.为什么要有索引呢？ 索引在MySQL中也叫做“键”，是存储引擎用于快速找到记录的一种数据结构。索引对于良好的性能 非常关键，尤其是当表中的数据量越来越大时，索引对于性能的影响愈发重要。 索引优化应该是对查询性能优化最有效的手段了。索引能够...
2022-03-20 21:06:38
78
原创 Python 网络爬虫进阶
1. 确定 URL 并抓取页面代码，添加headersfrom urllib import requestimport re# 定义urlpage = 100url = 'https://tieba.baidu.com/f?kw=%E5%BC%B1%E6%99%BA&ie=utf-8&pn='+str(page)try: headers ={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKi
2022-03-20 20:57:28
416
原创 Linux指令
1、ls指令含义：ls（list）用法1：#ls含义：列出当前工作目录下的所有文件/文件夹的名称用法2：#ls路径含义：列出指定路径下的所有文件/文件夹的名称2、pwd指令用法：#pwd（printworkingdirectory，打印当前工作目录）3、cd指令命令：#cd（changedirectory，改变目录）作用：用于切换当前的工作目录的语法：#cd路径cd..cd案例：当前在“/”下，需要使用绝对路径切换到/home。4、m.
2022-03-13 12:36:43
242
1
原创 MySQL基础语法
本博客记录了MySQL的几种最基础的语法，包含了创建数据库、创建表语法，以及数据类型和数据库的增删改查语法，还有表关联查询，子查询 , 适合新手
2022-03-12 17:08:15
135
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人