菱61-CSDN博客

原创 numpy函数——黄磊

（上课笔记篇）Numpy中常用的数据结构是ndarray格式使用array函数创建，语法格式为array(列表或元组)可以使用其他函数例如arange、linspace、zeros等创建import numpy as nparr1 = np.array([-9, 7, 4, 3])arr1array([-9, 7, 4, 3])type(arr1) # n维数组numpy.ndarrayarr1 = np.array([-9, 7, 4, 3], dtype='str')ar...

2022-05-01 22:44:39 73

原创 java操作hfds——黄磊

获取hdfs文件系统对象java操作hdfs，需要先获取到文件对象，执行url和用户名等，连接配置很多，需要实际项目需要时补充，基础可用的简单代码如下：private static String hdfsPath = "hdfs://192.168.139.9:9000";/*** 获取HDFS文件系统对象** @return* @throws Exception*/private static FileSystem getFileSystem() throws Except...

2022-05-01 22:42:41 233

原创 mysql优化——黄磊

应尽量避免在 where 子句中使用 != 或 <> 操作符，否则将引擎放弃使用索引而进行全表扫描对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num列上设置默认值 0 ，确保表中num列没有null值，然后这样查询：select id from t

2022-05-01 22:40:48 65

原创 mysql范式——黄磊

第一范式（1NF）数据表的每一列都要保持他的原子特性，也就是列不能在被分割。简而言之，第一范式就是无重复的列。第二范式（2NF）属性必须完全依赖于主键，消除部分依赖。简而言之，第二范式就是非主属性完全依赖于主关键字。第三范式（3NF）消除传递依赖。简而言之，第三范式就是属性不依赖于其它非主属性。...

2022-04-10 23:47:50 561

原创 hadoop分布式搭建——黄磊

.准备Linux环境1.1 开启网络,ifconfig指令查看ip1.2 修改主机名为自己名字(hadoop)vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop1.3修改主机名和IP的映射关系vim /etc/hosts192.168.182.128 hadoop1.4关闭防火墙#查看防火墙状态service iptables status#关闭防火墙service iptable

2022-04-10 23:45:59 74

原创爬虫xpath——黄磊

先在控制台下载pip install lxml导入from lxml import etree使用date = """ <div> <ul> <li class="item-0"><a href="link1.html">first item</a></li> <li class="item-1"&...

2022-04-10 23:44:39 63

原创 hbase——黄磊

：视图视图（view）是一种虚拟存在的表，是一个逻辑表，本身并不包含数据。作为一个select语句保存在数据字典中的。2：mysql事务MYSQL 事务处理主要有两种方法：用 BEGIN, ROLLBACK, COMMIT来实现 BEGIN 开始一个事务 ROLLBACK 事务回滚 COMMIT 事务确认直接用 SET 来改变 MySQL 的自动提交模式: SET AUTOCOMMIT=0 禁止自动提交 SET AUTOCOMMIT=1 开启自动提交3：提交事务CREATE TA

2022-04-03 23:06:56 250

原创网络爬虫scrapy——黄磊

python -m pip install --upgrade pip 这条是更新pip install wheelpip install lxmlpip install twistedpip install pywin32pip install scrapy下一步创建项目cd desktop 切换工作目录到桌面，将文件保存到桌面scrapy startproject TXmovies 创建项目cd TXmoviesscrapy genspider txms v...

2022-04-03 23:04:41 69

原创 hadoop4.3——黄磊

触发器USE test;CREATE TABLE IF NOT EXISTS student(username VARCHAR(20),PASSWORD VARCHAR(20),stuid INT AUTO_INCREMENT PRIMARY KEY,birthday DATE);DROP TABLE student;SELECT * FROM student;#创建学生表INSERT INTO student(username,PASSWORD,st...

2022-04-03 23:02:41 64

原创 Mysql索引__黄磊

什么是索引？一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，在生产环境中，我们遇到最多的，也是最容易出问题的，还是一些复杂的查询操作，因此对查询语句的优化显然是重中之重。说起加速查询，就不得不提到索引了。为什么要有索引呢？索引在MySQL中也叫做“键”，是存储引擎用于快速找到记录的一种数据结构。索引对于良好的性能非常关键，尤其是当表中的数据量越来越大时，索引对于性能的影响愈发重要。索引优化应该是对查询性能优化最有效的手段了。索引能够轻易将查询性能提高好几个数

2022-03-20 23:06:18 64

原创 Shell 脚本__黄磊

shell脚本后缀 .sh创建并打开一个sh文件 vim a.sh （touch a.sh 创建sh文件）编辑模式 i 退出编辑模式 esc 退出 shift +zz#！/bin/bash 这个必须写添加权限 chmod +x 文件名chmod +x a.sh代码示例!/bin/bashecho 'hello world'执行文件 ./a.sh输出结果 hello world变量定义变量以及输出变量使用变量时，变量前需要加上$#!/bin/...

2022-03-20 23:03:29 150

原创 Python 爬虫——黄磊

# 1from urllib import request# 构造一个请求req = request.Request("http://www.baidu.com")# 然后在打开网页resp = request.urlopen(req)# 读取网页内容print(resp.read())# 2#打开网页reponse=request.urlopen("http://www.baidu.com")#read方法读取网页内容print(reponse.read())...

2022-03-13 23:40:54 117

原创 Mysql基础语法——黄磊

建表建库：create database if not exists dbtest (库名) default charset utf8;create table if not exists a( id int primary key auto_increment, name varchar(20) not nullbir date);not null 非空primary key 主键，唯一 // auto_increment 自增 // int 数字...

2022-03-13 23:37:17 857

原创 Liunx 指令———黄磊

基础指令ls ：列出当前工作目录下的所有文件/文件夹名称，ls后面加个路径，就是列出指定路径下的ls 选项路径：如ls -l /root ; -l:表示list，表示以详细列表的形式进行展示；ls -la /root，-a表示显示所有文件夹包含了隐藏文件(文件夹) ls -lh /root : -lh会显示文档大小pwd （print working directory）:打印出当前工作目录，如： pwdcd（change directory）:切换工作目录,如 cd /homem..

2022-03-13 23:35:15 70

weixin_68071833的博客