- 博客(23)
- 收藏
- 关注
RSS订阅原创 爬虫爬取网页图片
代码import urllib.requestimport requestsfrom lxml import etreeurl = "https://699pic.com/tupian/fengjing.html"def schedule(blocknum,blocksize,totalsize): per = 100*blocknum*blocksize/totalsize if per>100: per=100 print('下载进度：%d'
2022-04-27 21:20:16
288
原创 爬虫的多线程爬出网页的URL
代码import urllib.requestimport timeimport queuefrom threading import Threadimport threadingurl = "https://www.pythontab.com/html/pythonjichu/"（可以根据自己的实际情况选取url）#构建队列queue = queue.Queue()queue.put(url)for i in range(2,10): new_url = url+str(i)+
2022-04-27 21:08:46
307
原创 梯度算法的实现
代码如下：需要aqi2.csv文件的私我import numpy as npfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import mean_absolute_error,mean_squared_error,r2_scoreimport matplotlib.pyplot as plt#特征标准化def featureNorm(x): mu = x.mean(0)# si
2022-04-27 17:23:59
280
原创 多元线性回归的实现
代码import numpy as npfrom sklearn.model_selection import train_test_splitfrom numpy.linalg import invimport matplotlib.pyplot as plt#读数据，预处理数据data = np.loadtxt("D:/机器学习/data/aqi2.csv",delimiter=",",skiprows=1,dtype=float)#print(data)index = np.ones(
2022-04-27 16:24:59
157
原创 杨辉三角形python实现
杨辉三角形python实现a = int(input())n = [1]for i in range(a): print(n) a.append(0) n = [n[k]+n[k-1] for j in range(i+2)]
2022-04-02 13:11:59
607
原创 python练习题
1.判断水仙花数n=0for i in range(100,1000): s=str(i) a = i // 100 # 百位 b = i // 10 % 10 # 十位 c = i % 10 # 个位 if a ** 3 + b ** 3 + c ** 3 == i: n=n+1 print('第{}个水仙花数为{}'.format(n,i))
2021-10-09 11:35:41
85
原创 超简单的主从数据库配置
主从数据库配置安装主从数据库的原理图如下：所需主机及配置如下：主机名IPmaster（主节点）192.168.200.160slave（从节点）192.168.200.161安装数据库并进行配置：[root@master ~]# yum install -y mariadb-server[root@slave ~]# yum -y install mariadb-server[root@master ~]# vi /etc/my.cnf添加：[mysql
2020-06-26 15:31:01
286
原创 ambari超详细安装部署
ambari安装部署Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。安装环境说明一台主节点（mas
2020-06-04 19:59:36
2600
1
原创 hive分布式安装部署
hive的安装与部署开始本次操作前，确保Hadoop和zk顺利启动。如图所示，mysql server应安装在node2节点上，Hiver Client 安装在了master 节点，MySql Server 安装在 node2 节点。本次安装需要如下的安装包:mysql-connector-java-5.1.5-bin.jarapache-hive-2.3.7-bin.tar首先在...
2020-05-02 19:29:29
791
原创 2020/4/25hbase分布式部署安装
大数据hbase分布式安装及其部署。首先要启动Hadoop以及zookeeper，可以参考前面发布的文章。将hbase的包上传至master节点这里我使用的是1.3.6的版本，具体的根据自己的版本来。~~~[root@master ~]# ls[root@master ~]# lshbase-1.3.6-bin.tar.gz然后解压hbase的包到当前的目录。[root@ma...
2020-04-29 14:15:45
188
原创 2020/4/26 zookeeper分布式安装
大数据的zookeeper分布式安装**** 前面的文章已经提到Hadoop的伪分布式安装。现在就在原有的基础上安装zookeeper。首先启动Hadoop平台[root@master ~]# start-all.shStarting namenodes on [master]Last login: Thu Mar 19 10:06:13 EDT 2020 from 192.168...
2020-04-26 10:47:12
557
1
原创 2020-3-19 大数据完全分布式搭建
大数据伪分布式搭建***对于大数据这块相信大家对linux有一定的认识，所有对创建虚拟机那块就不给予详细的说明了。基础环境的搭建1.系统环境平台:VMware Workstation pro系统：centos 7Hadoop版本： Apache Hadoop 3.0.0本次实验是搭建一台master和两台node节点。因为我们主要的目的是想让大家了解一下Hadoop伪分布式的搭建流程...
2020-03-20 11:58:58
664
原创 HDFS相关运维题
1.在 HDFS 文件系统的根目录下创建递归目录“1daoyun/file”，将附件中的BigDataSkills.txt 文件，上传到 1daoyun/file 目录中，使用相关命令查看文件系统中 1daoyun/file 目录的文件列表信息。hadoop fs -mkdir -p /1daoyun/filehadoop fs -put BigDataSkills.txt /1daoyun...
2019-12-07 10:57:58
539
原创 OpenStack双节点部署-----基础环境搭建
OpenStack双节点部署-----基础环境搭建前面的网卡配置笔者这里就跳过了，在这里和大家讲一下，我的的两台节点的网卡配置。controller 管理内部网络的IP是192.168.100.10/24 管理外部网络的IP是192.168.200.10/24computer 管理内部网络的IP是192.168.100.20/24 ...
2019-12-06 18:20:54
2068
1
原创 linux小考核
1.linux中查看内存，交换内存的情况命令是( A C )A.top B.last c.free D.lastcomm2. 在创建Linux分区时，一定要创建（ D ）两个分区A.FAT/NTFS B. FAT/SWAP B.C. NTFS/SWAP D.SWAP/根分区3.观察...
2019-12-04 18:21:58
1599
原创 常用的Dos命令
打开CMD的方式开始+系统+命令提示符Win键+R，输入cmd打开控制台(推荐使用)在任意的文件夹下面，按住Shift+鼠标右键点击，在此处打开命令行窗口资源管理器的地址栏面前加上cmd路径常用的Dos命令#盘符切换# 输入你所切换的盘符然后在后面输入:(是英文输入法)#查看当前目录下的所有文件# #切换目录# cd (change directory) 如果是切换到具体的目...
2019-12-04 10:07:41
104
原创 markdown简单入门学习
首先我们需要下载我们的工具Typora,点击下方链接就可以了点击跳转到Typora官网下载示意图选择你所需要的版本关于标题语法结构为#加上你所输入的标题，一级标题就是一个#加上标题，二级标题就是两个##加上标题，以此类推。不过最多可以添加到六级标题！！！一级标题二级标题三级标题字体的设置1.让字体变粗语法结构为在字体的两边加上两个*。hello，world2.让字体倾...
2019-12-03 14:43:29
180
1
原创 Paas相关的运维题(1)
1.在 server 节点使用 netstat 命令查询仓库监听端口号，查询完毕后通过 lsof 命令（如命令不存在则手工安装）查询使用此端口号的进程。2.在 server 节点通过 netstat 命令（如命令不存在则手工安装）查询 docker镜像仓库 PID，使用 top 命令查询上一步查询到的 PID 的资源使用情况。3.在 server 节点通过 docker 命令查询 dock...
2019-12-02 15:47:51
1169
原创 AWS经典的3层web app部署架构的一些介绍
AWS经典的3层web app部署架构图：AZ(可用区)：在某一个区域（Region）部署服务时，就会为你提供一些相应的可用区，只需要做出选择就可以了。一般区域都是由若干个可用区组成，可用区与区域的关系如图所示：网络ACL：网络控制层，主要控制进出的流量，实现网络的安全防护。入站规则：出站规则：VPC（Virtual Private Cloud）：是公有云上自定义的逻辑隔离网络空...
2019-11-30 18:49:02
2048
原创 Dockerfile的简单入门编写之关于yum的问题
Dockerfile的简单人门编写之关于yum的问题首先我们编写一个简单的Dockerfile的例子。不过再此之前大家得去把编写dockerfile的指令了解一下。编写以 centos镜像为基础镜像，构建 http 服务，Dockerfile 要求删除镜像的 yum 源，使用当前系统的 yum 源文件，完成后安装 http 服务，此镜像要求暴露 80 端口。构建的镜像名字叫 http:v1.0...
2019-11-29 20:43:54
1484
原创 liunx中本地yum的配置
yumyum(Yellow dog Updater, Modified)是一个在 Fedora 和 RedHat 以及 CentOS 中的 Shell 前端软件包管理器。基于 RPM 包管理，能够从指定的服务器 自动下载 RPM 包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的 软件包，无须繁琐地一次次下载、安装。yum 机制的强大之处在于 yum 源。yum 源相当是一个目录项，当...
2019-11-19 10:51:27
120
原创 Hbase简介以及简单的入门操作
Hbase是一个分布式的、面向列的开源数据库，可实时的读写、随机访问超大规模的数据集。Hbase主要分为两种模型: 逻辑模型和物理模型逻辑模型Hbase的名字的来源是Hadoop database，即为Hadoop数据库，从用户的角度来考虑，就是如何使用Hbase。物理模型主要从实现Hbase的角度来讨论。Hbase的特点：1.大：一个表可以有上亿行、上百万的列。2.面向列：面对...
2019-11-19 10:46:52
123
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人