- 博客(20)
- 收藏
- 关注
RSS订阅原创 PowerDesigner建模（上）
PowerDesigner最基础的使用方法入门学习1：入门级使用PowerDesigner软件创建数据库我的PowerDesigner版本是16.5的，如若版本不一样，请自行参考学习即可。（打开软件即是此页2：首先创建概念数据模型，如图所示（后面介绍一些比如物理数据模型等等，由于此软件全部是英文的，所以作为一个chinese不是很懂的，耐心的多使用几次就好了。）请自行脑补概念模型(CDM Conceptual Data Model)物理模型（PDM,Physical Data.
2022-05-08 17:35:49
347
原创 hadoop-2.6.1 winutil处理
原始数据HDFSwordshello tom hello jerry hello kitty hello world hello tom Map阶段1.每次读一行数据,2.拆分每行数据,3.每个单词碰到一次写个1<0, "hello tom"><10, "hello jerry"><22, "hello kitty"><34, "hello world">...
2022-05-08 17:30:28
91
原创 hadoop2.2.0、HDFS的java访问接口
4.5.1.搭建 Hadoop 开发环境我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开发阶段，我们使用 windows 下的 eclipse 作为开发环境，访问运行在虚拟机中的 HDFS。也就是通过在本地的 eclipse 中的 java 代码访问远程 linux 中的 hdfs。要使用宿主机中的 java 代码访问客户机中的 hdfs，需要保证以下几点：确保宿主机与客户机的网络是互通的确保宿主机和客户机的防火墙都关闭，因为很多端口需要通过，为了减少防火墙配置
2022-05-01 20:37:26
193
原创 MySQL、索引优化&参数优化
1.对查询进行优化应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t where num=03.应尽量避免在 where 子句中使用!=或<&
2022-05-01 20:34:50
95
原创 网络爬虫、Pandas
Pandas 是 Python 语言的一个扩展程序库，用于数据分析。Pandas 是一个开放源码、BSD 许可的库，提供高性能、易于使用的数据结构和数据分析工具。Pandas 名字衍生自术语 "panel data"（面板数据）和 "Python data analysis"（Python 数据分析）。Pandas 一个强大的分析结构化数据的工具集，基础是 Numpy（提供高性能的矩阵运算）。Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数
2022-05-01 20:32:52
49
原创 SQL查询优化
USE test;CREATE TABLE IF NOT EXISTS emp(id INT PRIMARY KEY AUTO_INCREMENT,NAME VARCHAR(20),age INT,salary FLOAT);创建存储过程DELIMITER $CREATE PROCEDURE emp()BEGIN定义一个循环变量DECLARE i INT DEFAULT 0;WHILE(i<1000) DOBEGINSELECT i;SET i=i+1..
2022-04-24 18:30:06
146
原创 Java操作hdfs
Hadoop环境变量配置jdk环境变量配置import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;import org.junit.Before;import java.io.File;import java.io.FileOutputStream;import java.io.InputStream;import .
2022-04-24 18:11:33
46
原创 Numpy函数
安装numpy模块pip install numpy代码如下:import numpy as np# 数组元素字符串连接print('连接两个字符串:')print(np.char.add(['hello'], ['zmt']))print(np.char.add(['hello', 'hi'], ['zmt', 'cyt']))print('\n')# multiply()函数执行多重连接print(np.char.multiply('cyt', 3))print('\n'..
2022-04-24 18:05:12
41
原创 Hbase基础2__刘璐萍
自定义函数：create function getusername(userid int) returns varchar(32)reads sql data -- 从数据库中读取数据，但不修改数据begin declare username varchar(32) default '';select name into username from users where id=userid;return username;end;repeat 语句:c...
2022-04-09 19:05:47
1961
原创 爬虫基础4__刘璐萍
Xpath语法：XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。 下面列出了最有用的路径表达式： 表达式 描述 nodename 选取此节点的所有子节点。 / 从根节点选取（取子节点）。 // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置（取子孙节点）。 .
2022-04-09 18:50:41
193
原创 Hadoop基础1__刘璐萍
1.准备Linux环境1.1 开启网络,ifconfig指令查看ip1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的映射关系 vim /etc/hosts 192.168.182.128 hadoop1.4关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 s...
2022-04-03 12:58:38
3648
2
原创 爬虫基础3__刘璐萍
1：scrapy的使用cmd控制台安装包的安装python -m pip install --upgrade pippip install wheelpip install lxmlpip install twistedpip install pywin32pip install scrapy2：创建项目scrapy startproject TXmoviescd TXmoviesscrapy genspidertxmsv.qq.com3:修改setting
2022-04-03 12:28:24
792
原创 网络爬虫2__刘璐萍
1.确定url并抓取页面代码# -*- coding:utf-8 -*-import urllibimport urllib2page = 1url = 'http://www.qiushibaike.com/hot/page/' + str(page)try: request = urllib2.Request(url) response = urllib2.urlopen(request) print response.read()except urllib2.U...
2022-03-20 11:53:34
47
原创 Linux基础2__刘璐萍
1，shell基础#!/bin/bash [指定告知系统当前这个脚本要使用shell解释器]文件命名规范文件名.sh创建.sh文件 touch/vim编写shell代码执行shell 脚本 脚本必须有执行权限 chmod +x 文件名.sh输出命令：echo1 #!/bin/bash2 echo 'hello world!'变量的定义与使用定义形式：class_name="yunwe"使用形式：echo $class_name规范：命名只能使用英文字母，数
2022-03-20 11:43:37
1179
原创 SQL基础语法2__刘璐萍
1，索引基础普通：创建表的时候同时创建索引CREATE TABLE `table` (`id` int(11) NOT NULL AUTO_INCREMENT ,`title` char(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ,`content` text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,`time` int(10) NULL DEFAUL...
2022-03-20 11:20:34
62
原创 linux指令__刘璐萍
1、基础指令语法含义：列出当前工作目录下的所有文件/文件夹的名称用法2：#ls路径含义：列出指定路径下的所有文件/文件夹的名称关于路径（重要）：路径可以分为两种：相对路径、绝对路径。相对路径：相对首先得有一个参照物（一般就是当前的工作路径）；相对路径的写法：在相对路径中通常会用到2个符号“./”【表示当前目录下】、“../”【上一级目录下】。绝对路径：绝对路径不需要参照物，直接从根“/”开始寻找对应路径；用法3：#ls选项路径含义：在列出指定路径下的文件/文件夹的名称，并以指定的格式进行显示。常见的语法
2022-03-13 14:32:43
2151
原创 SQL基础语法__刘璐萍
1、建库建表语法，字段数据类型，（案例）2、增删改查语法，3、表关联查询4、子查询#创建库CREATE DATABASE yueshu DEFAULT CHARSET utf8;#使用库USE yueshu;CREATE TABLE temp(id INT,NAME VARCHAR(20),pwd VARCHAR(20),PRIMARY KEY(id,NAME));#删除主键(修改表结构)ALTER TABLE temp DROP PRIMARY KEY;#添加主键.
2022-03-13 13:41:37
375
原创 爬虫基础__刘璐萍
1、爬虫入门程序import urllib.requestimport urllib.error# 定义网址url = "http://www.baidu.com"# 访问网址responsel = urllib.request.urlopen(url)# 获取响应的状态码print(responsel.getcode())# 打印网页的内容长度print(responsel.read())2、爬虫程序添加data、header、然后post请求import urlli
2022-03-13 13:14:45
1128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人