- 博客(23)
- 收藏
- 关注
原创 爬虫爬取网页图片
代码import urllib.requestimport requestsfrom lxml import etreeurl = "https://699pic.com/tupian/fengjing.html"def schedule(blocknum,blocksize,totalsize): per = 100*blocknum*blocksize/totalsize if per>100: per=100 print('下载进度:%d'
2022-04-27 21:20:16
300
原创 爬虫的多线程爬出网页的URL
代码import urllib.requestimport timeimport queuefrom threading import Threadimport threadingurl = "https://www.pythontab.com/html/pythonjichu/"(可以根据自己的实际情况选取url)#构建队列queue = queue.Queue()queue.put(url)for i in range(2,10): new_url = url+str(i)+
2022-04-27 21:08:46
329
原创 梯度算法的实现
代码如下:需要aqi2.csv文件的私我import numpy as npfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import mean_absolute_error,mean_squared_error,r2_scoreimport matplotlib.pyplot as plt#特征标准化def featureNorm(x): mu = x.mean(0)# si
2022-04-27 17:23:59
290
原创 多元线性回归的实现
代码import numpy as npfrom sklearn.model_selection import train_test_splitfrom numpy.linalg import invimport matplotlib.pyplot as plt#读数据,预处理数据data = np.loadtxt("D:/机器学习/data/aqi2.csv",delimiter=",",skiprows=1,dtype=float)#print(data)index = np.ones(
2022-04-27 16:24:59
171
原创 杨辉三角形python实现
杨辉三角形python实现a = int(input())n = [1]for i in range(a): print(n) a.append(0) n = [n[k]+n[k-1] for j in range(i+2)]
2022-04-02 13:11:59
631
原创 python练习题
1.判断水仙花数n=0for i in range(100,1000): s=str(i) a = i // 100 # 百位 b = i // 10 % 10 # 十位 c = i % 10 # 个位 if a ** 3 + b ** 3 + c ** 3 == i: n=n+1 print('第{}个水仙花数为{}'.format(n,i))
2021-10-09 11:35:41
92
原创 超简单的主从数据库配置
主从数据库配置安装主从数据库的原理图如下:所需主机及配置如下:主机名IPmaster(主节点)192.168.200.160slave(从节点)192.168.200.161安装数据库并进行配置:[root@master ~]# yum install -y mariadb-server[root@slave ~]# yum -y install mariadb-server[root@master ~]# vi /etc/my.cnf添加:[mysql
2020-06-26 15:31:01
304
原创 ambari超详细安装部署
ambari安装部署Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。安装环境说明一台主节点(mas
2020-06-04 19:59:36
3025
1
原创 hive分布式安装部署
hive的安装与部署开始本次操作前,确保Hadoop和zk顺利启动。如图所示,mysql server应安装在node2节点上,Hiver Client 安装在了master 节点,MySql Server 安装在 node2 节点。本次安装需要如下的安装包:mysql-connector-java-5.1.5-bin.jarapache-hive-2.3.7-bin.tar首先在...
2020-05-02 19:29:29
799
原创 2020/4/25hbase分布式部署安装
大数据hbase分布式安装及其部署。首先要启动Hadoop以及zookeeper,可以参考前面发布的文章。将hbase的包上传至master节点这里我使用的是1.3.6的版本,具体的根据自己的版本来。~~~[root@master ~]# ls[root@master ~]# lshbase-1.3.6-bin.tar.gz然后解压hbase的包到当前的目录。[root@ma...
2020-04-29 14:15:45
197
原创 2020/4/26 zookeeper分布式安装
大数据的zookeeper分布式安装**** 前面的文章已经提到Hadoop的伪分布式安装。现在就在原有的基础上安装zookeeper。首先启动Hadoop平台[root@master ~]# start-all.shStarting namenodes on [master]Last login: Thu Mar 19 10:06:13 EDT 2020 from 192.168...
2020-04-26 10:47:12
586
1
原创 2020-3-19 大数据完全分布式搭建
大数据伪分布式搭建***对于大数据这块相信大家对linux有一定的认识,所有对创建虚拟机那块就不给予详细的说明了。基础环境的搭建1.系统环境平台:VMware Workstation pro系统:centos 7Hadoop版本: Apache Hadoop 3.0.0本次实验是搭建一台master和两台node节点。因为我们主要的目的是想让大家了解一下Hadoop伪分布式的搭建流程...
2020-03-20 11:58:58
684
原创 HDFS相关运维题
1.在 HDFS 文件系统的根目录下创建递归目录“1daoyun/file”,将附件中的BigDataSkills.txt 文件,上传到 1daoyun/file 目录中,使用相关命令查看文件系统中 1daoyun/file 目录的文件列表信息。hadoop fs -mkdir -p /1daoyun/filehadoop fs -put BigDataSkills.txt /1daoyun...
2019-12-07 10:57:58
561
原创 OpenStack双节点部署-----基础环境搭建
OpenStack双节点部署-----基础环境搭建前面的网卡配置笔者这里就跳过了,在这里和大家讲一下,我的的两台节点的网卡配置。controller 管理内部网络的IP是192.168.100.10/24 管理外部网络的IP是192.168.200.10/24computer 管理内部网络的IP是192.168.100.20/24 ...
2019-12-06 18:20:54
2130
1
原创 linux小考核
1.linux中查看内存,交换内存的情况命令是( A C )A.top B.last c.free D.lastcomm2. 在创建Linux分区时,一定要创建( D )两个分区A.FAT/NTFS B. FAT/SWAP B.C. NTFS/SWAP D.SWAP/根分区3.观察...
2019-12-04 18:21:58
1649
原创 常用的Dos命令
打开CMD的方式开始+系统+命令提示符Win键+R,输入cmd打开控制台(推荐使用)在任意的文件夹下面,按住Shift+鼠标右键点击,在此处打开命令行窗口资源管理器的地址栏面前加上cmd路径常用的Dos命令#盘符切换# 输入你所切换的盘符然后在后面输入:(是英文输入法)#查看当前目录下的所有文件# #切换目录# cd (change directory) 如果是切换到具体的目...
2019-12-04 10:07:41
111
原创 markdown简单入门学习
首先我们需要下载我们的工具Typora,点击下方链接就可以了点击跳转到Typora官网下载示意图选择你所需要的版本关于标题语法结构为#加上你所输入的标题,一级标题就是一个#加上标题,二级标题就是两个##加上标题,以此类推。不过最多可以添加到六级标题!!!一级标题二级标题三级标题字体的设置1.让字体变粗语法结构为在字体的两边加上两个*。hello,world2.让字体倾...
2019-12-03 14:43:29
214
1
原创 Paas相关的运维题(1)
1.在 server 节点使用 netstat 命令查询仓库监听端口号,查询完毕后通过 lsof 命令(如命令不存在则手工安装)查询使用此端口号的进程。2.在 server 节点通过 netstat 命令(如命令不存在则手工安装)查询 docker镜像仓库 PID,使用 top 命令查询上一步查询到的 PID 的资源使用情况。3.在 server 节点通过 docker 命令查询 dock...
2019-12-02 15:47:51
1197
原创 AWS经典的3层web app部署架构的一些介绍
AWS经典的3层web app部署架构图:AZ(可用区):在某一个区域(Region)部署服务时,就会为你提供一些相应的可用区,只需要做出选择就可以了。一般区域都是由若干个可用区组成,可用区与区域的关系如图所示:网络ACL:网络控制层,主要控制进出的流量,实现网络的安全防护。入站规则:出站规则:VPC(Virtual Private Cloud):是公有云上自定义的逻辑隔离网络空...
2019-11-30 18:49:02
2147
原创 Dockerfile的简单入门编写之关于yum的问题
Dockerfile的简单人门编写之关于yum的问题首先我们编写一个简单的Dockerfile的例子。不过再此之前大家得去把编写dockerfile的指令了解一下。编写以 centos镜像为基础镜像,构建 http 服务,Dockerfile 要求删除镜像的 yum 源,使用当前系统的 yum 源文件,完成后安装 http 服务,此镜像要求暴露 80 端口。构建的镜像名字叫 http:v1.0...
2019-11-29 20:43:54
1515
原创 liunx中本地yum的配置
yumyum(Yellow dog Updater, Modified)是一个在 Fedora 和 RedHat 以及 CentOS 中的 Shell 前端软件包管理器。基于 RPM 包管理,能够从指定的服务器 自动下载 RPM 包并且安装,可以自动处理依赖性关系,并且一次安装所有依赖的 软件包,无须繁琐地一次次下载、安装。yum 机制的强大之处在于 yum 源。yum 源相当是一个目录项,当...
2019-11-19 10:51:27
127
原创 Hbase简介以及简单的入门操作
Hbase是一个分布式的、面向列的开源数据库,可实时的读写、随机访问超大规模的数据集。Hbase主要分为两种模型: 逻辑模型和物理模型逻辑模型Hbase的名字的来源是Hadoop database,即为Hadoop数据库,从用户的角度来考虑,就是如何使用Hbase。物理模型主要从实现Hbase的角度来讨论。Hbase的特点:1.大:一个表可以有上亿行、上百万的列。2.面向列:面对...
2019-11-19 10:46:52
144
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人