- 博客(298)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 Python网络爬虫数据抓取思路，静态与动态页面爬取思路，爬虫框架等
目录一、静态文件抓取（响应文件中存在的数据）二、动态文件抓取（响应文件中不存在的数据）三、多线程数据抓取四、存文件：多线程争抢共同文件时的操作五、Python爬虫解析模块思路一、静态文件抓取（响应文件中存在的数据）大部分的数据都是直接写在静态文件上的，静态文件这里通常指的一定时间内不会变化的，不需要与后台进行交互的网页。1.首先确认抓取的数据是否存在于响应文件...
2020-03-22 22:32:52
4391
6
原创 Linux相关文章收录
本篇文章是对我所有与Linux相关文章的整理，希望对从事Linux工作的朋友有帮助。目录网络篇1.Linux下修改Ip（Centos版）2.Linux链路聚合，链路聚合四种工作模式系统篇1.Linux下cron计划任务，定时执行脚本或命令2.Centos配置YUM仓库，本地yum仓库3.Linux硬盘分区管理，创建分区并格式化，fdisk命令w...
2020-03-14 00:35:14
383
原创 Springboot JVM监控 通过Promethus
metrics_path: "/actuator/prometheus" #这里填java服务得请求路径+/actuator/prometheus，如果加了前缀，如 context-path: /abc，则为/abc/actuator/prometheus。["172.16.0.88:8789","172.16.0.69:8789"] #172.16.0.88:8789 为java服务ip+断开。在grafna导入模板,建议 12464 14430。
2024-05-31 17:43:49
653
原创 linux 配置端口转发
当我们内网服务器没有公网IP，但需要将服务暴露出去时，可以采用如下方式，即通过跳板机（带公网IP）做转发，下面得例子演示将mysql 3306 服务暴露出去。客户端请求时，访问 "跳板机公网IP:3306" 即可访问到192.168.10.25 服务器得mysql。
2024-05-31 11:32:58
398
原创 阿里云 通过EIP实现VPC下的SNAT以及DNAT
在交换机下新增一条路由，0.0.0.0 跳至192.168.0.85（有公网服务器）在192.168.0.85（有公网地址服务器上操作）
2024-05-31 11:26:02
455
原创 newinit.sh挖矿攻击处理与规避方案
newinit.sh 主要功能是：关闭selinux、杀掉别人的挖矿进程、杀掉CPU占用过高的进程，如果是自己就跳过、修改破坏系统命令、自己造一个下载器downloads()函数、解锁和加锁定时任务、添加挖矿技术任务、设置SSH免密登陆、下载执行矿机挖矿程序、关闭防火墙、清除日志、感染已知的免密机器。临时处理方式，如果被植入newinit.sh，一定迁移服务，攻击脚本中修改太多的系统服务配置，人工很难恢复到健康的服务状态，所以能迁移就迁移。·mysql、redis、mq等基础软件，一定要关注安全更新。
2024-05-28 17:31:49
726
原创 Let‘s Encrypt 免费证书申请
执行后根据提示在dns解析中加TXT记录。单域名：www.example.com。泛域名： *.example.com。填写邮箱，申请的域名。
2024-05-28 17:20:59
356
原创 Install Redis Cluster(3master-3slave) on Kubernetes cluster And Test High Availability & Sability
【代码】Install Redis Cluster(3master-3slave) on Kubernetes cluster And Test High Availability & Sability。
2023-05-28 16:02:08
446
1
原创 Install Redis Cluster(1master-2slave) on Kubernetes
This article explores how to set up a Redis cluster (1 Master- 2 Slave) on Kubernetes and the architecture shown in the diagram below. We set StatefulSet as manager and run3 redis-pods instances, create 1 Storageclass and 3 PVs, and a headless service exp
2023-05-24 12:03:32
1000
原创 Install ELK+Filebeat on Kubernetes Cluster with Helm
In this guide,I'll covertwo methods to install ELK on Kubernetes.We will start by manually deploying individual components to Kubernetes and configuringwhichwill give us a good understanding of how everything work.Then we will look at using Helm Charts
2023-05-23 16:44:41
996
原创 Install Prometheus Monitoring On Kubernetes Cluster
【代码】Install Prometheus Monitoring On Kubernetes Cluster。
2023-05-22 11:18:25
1643
原创 Install Kubernetes 1.26 on Centos 7.9（Contianerd as CRI ）
The reason we deploy local repository is Worker Node can't and shouldn't access extranet.Only the Master Node could do.(For personally is that buy a Elastic IP Address is expensive on HUAWEI Cloud,so i just buy one and give to the master)
2023-05-18 00:31:38
1646
1
原创 Basics of Container Isolation 容器隔离的实现原理
你可以为特定资源（例如内存）创建一个属于自己的 cgroup，方法是在该资源的 cgroup 目录下创建一个目录。Linux kernel会自动在这个目录下创建一些必要的文件。
2023-04-24 23:13:51
686
原创 AFP vs SMB vs NFS: 谁是最好的数据传输协议？
SMB (Server Message Block) 协议是1983年由IBM公司提出的，为了DOS系统（Windows基于DOS开发）开发的一种用于在计算机间共享文件、打印机、串口的协议。截止今天，SMB已经发展到3.1.1版本，主要与Microsoft Windows操作系统捆绑在一起，并且Linux、Mac现在都已经支持SMBSMB 使用服务器客户端架构。要通过网络共享的文件在计算机上配置，然后客户端计算机通过输入主机的 IP 地址或主机名来访问这些 SMB 共享文件。
2023-04-23 23:38:25
17452
翻译 Memcached vs Redis
Memcached是为简单而设计的，而Redis提供了一套丰富的功能，使其能够有效地用于各种用例。了解您的需求以及每个引擎提供的功能，以决定哪种解决方案更能满足您的需求。支持的语言包括Java、Python、PHP、C、C++、C#、JavaScript、Node.js、Ruby、Go和许多其他语言。redis基于该类型，提供了经纬度设置，查询，范围查询，距离查询，经纬度Hash等常见操作。Redis可以创建主从架构，通过设立主服务器和多个从服务器，根据数据库读访问量去扩充集群数量，是一个高可用的集群。
2023-03-20 21:52:02
125
原创 PID实例讲解（适合小白），PID三个变量的作用与关系
故事案例下故事摘自其他文章小明接到这样一个任务：有一个水缸点漏水(而且漏水的速度还不一定固定不变)，要求水面高度维持在某个位置（100%），一旦发现水面高度低于要求位置（85%），就要往水缸里加水。小明接到任务后就一直守在水缸旁边，时间长就觉得无聊，就跑到房里看小说了，每30分钟来检查一次水面高度。水漏得太快，每次小明来检查时，水都快漏完了，离要求的高度相差很远，小明改为每3分钟来检查一次，结果每次来水都没怎么漏，不需要加水，来得太频繁做的是无用功。几次试验后，确定每10分钟来检查一次。这个检
2021-08-19 23:51:07
5386
原创 PointRCNN 车辆 行人 自行车识别
代码地址：https://github.com/sshaoshuai/PointRCNN项目原始测试环境：Linux (tested on Ubuntu 14.04/16.04)、Python 3.6+、PyTorch 1.0自测通过环境：Ubuntu 16.04、Python 3.7.6 in Anaconda、Pytorch 1.2 + CUDA 9.2Python 3.7.6 in Anaconda安装官方指南：https://docs.anaconda.com/anaconda/ins
2021-07-22 20:17:07
1178
原创 AB3DMOT 车辆 行人识别
代码库：https://github.com/xinshuoweng/AB3DMOT搭建环境：Ubuntu 16.04、Python 3.7.6 in Anaconda、Pytorch 1.2 + CUDA 9.2预研环境搭建参照PointRCNN环境搭建及运行所述KITTI object tracking数据集下载数据集官网：http://www.cvlibs.net/datasets/kitti/eval_tracking.php按照项目说明进行预研时，只需要下载image_02数据集：h
2021-07-22 20:12:10
1561
原创 YOLOv3 车辆，行人，自行车检测
参考地址https://github.com/ghimiredhikura/Complex-YOLOv3（另有基于YOLOv4的https://github.com/maudzung/Complex-YOLOv4-Pytorch）Requirementsnumpytorch=1.1torchvisiontensorflowterminaltablestqdmopencv-pythonshapely实测torch 1.2.0+cu92及tensorflow 2.3.0可运行安装及测试
2021-07-22 20:08:21
1848
原创 ROS系统将python包编译为可执行文件
python install模式开发规则本文章讲述ROS系统下如何将python编译为可以执行文件,步骤比较简单,请严格执行避免疏漏1.下载必须文件git clone https://gitee.com/alen2020/ros_python_install_mode_files##取该目录下的cmake目录和setup.py,install.sh到自己节点的目录cp -r cmake setup.py car_mqtt_api/如果用到动态参数,还需要拷贝install.sh,并做下列修改
2021-07-22 19:43:34
1904
1
原创 通过硬件设备号固化USB串口号 Ubuntu系统下硬件-串口绑定
目的USB接口固化防止每次启动变化，无须自动识别流程1 持续查看日志tailf /var/log/syslogENV{DEVPATH}==的值为插入设备时，查看tailf /var/log/syslog中mtp-probe: checking bus 1, device 21: "/sys/devices/pci0000:00/0000:00:14.0/usb1/1-9...
2021-06-24 14:37:53
445
原创 docker安装,ubuntu版本
sudo apt-get remove docker docker-engine docker.io containerd runcsudo apt-get updatesudo apt-get -y in4/open_default_project/stall apt-transport-httpssudo apt-get -y install ca-certificatessudo apt-get -y install curl sudo apt-get -y install gnupg-.
2021-06-21 10:42:44
387
原创 ubuntu 开机自动执行脚本
既然要实现开机自动运行脚本，那么就与Linux开机自启服务的原理有关；Linux开机的时候，会有一步读取/etc/inittab配置文件，选定系统运行级别，然后进行系统初始化，执行/etc/rc.d/下的rc脚本；而其中/etc/rc.d/rc.local自启动脚本是Linux留给用户自定义个性启动项的一个脚本。你只要打开这个脚本文件，看上面的解释，很明显的告诉你这个脚本文件的作用。用户可...
2021-06-17 17:32:40
9429
原创 ROS播包常规方式 ROS虚拟时间错误 时间戳对不上
使用虚拟时间：rosparam set /use_sim_time true加rosbag play --pause --clock -k 2020-07-29-10-30-tnxct-circle.bag
2021-06-15 15:30:09
2210
原创 ubuntu 系统备份 再生龙系统盘制作 系统备份与恢复(全图文)
1.下载资料安装工具https://tuxboot.org/download/File on SourceForge下载后启动再生龙镜像http://clonezilla.nchc.org.tw/clonezilla-live/download/下载iso镜像2.烧录
2021-04-16 16:57:18
1547
原创 Django ajax定时器 打印表格 json格式 Django从后台拿数据打印
1.views.pyfrom django.http import HttpResponse,JsonResponsefrom django.shortcuts import renderfrom django.template import loader,RequestContextdef index(request): return render(request, 'index.html')def ajax_dict(request): name_dict = {"
2021-04-05 11:32:02
505
原创 django html导入静态文件 导入layui静态文件 解决Django加载静态资源失败
下面以layui静态文件做一个演示git:https://github.com/sentsin/layui/1.创建一个项目django-admin startproject test12.创建templates和static文件夹在test1，即项目同级目录下创建templates，并创建base.html,page1.html,page2.html文件将layui-master下的src文件放到static中$ mkdir templates$ cd temp..
2021-04-01 19:35:28
1242
原创 产品经理的职责 产品规划 产品设计 推导研发 职责误区
产品经理的职责产品规划 产品设计 推动研发 常见误解1.产品规划需求的来源多种多样观察到的现象、用户的反馈、数据的分析、竞品的动作、市场的变化、老板的要求等观察到的现象路上拦车 -> 网约车付款现金支付效率低 -> 扫描支付用户的反馈数据分析数据分析的整个流程是要先后经过四个层次 需求层 数据层-分析层-输出层而这四个层次中，需求层是最重要的数据推动认知产生想法构建产品测量数据竞品的动作保持对竞品的关注...
2021-03-27 21:04:11
680
原创 产品经理应具备的能力（初中高级），产品经理岗位细分
1.产品经理的核心能力1.1 初中级产品经理应具备的能力初级产品经理的关键词是“执行”。初级产品经理从各部门获得需求，然后将需求转化成功能，并提交设计与开发。他们不生产需求，只是需求的搬运工。衡量一个初级产品经理是否合格的标准，是他有没有将需求部门的需求予以实现，实现的程度如何，未实现的需求是否及时给予反馈。中级产品经理的关键词是“主导”。中级产品经理会对产品未来的形态有一个较为清晰的认知，他们的工作不仅仅是帮助其他部门实现需求那么简单。当他们与高层确定了产品方向后，会获得产品的主导权，他.
2021-03-01 00:31:08
2845
原创 [python] 读csv文件 修改后保存
思路：1.创建一个读对象和写对象2.逐行读取csv文件中的内容，逐行追加到写对象中3.写完后.close()关闭写对象4.最后执行mv 更好文件名(需在linux下）5.is_number函数是用于判断是否是数字，可不管import csvimport osdef is_number(s): try: float(s) return True except ValueError: pass try:.
2021-02-23 20:46:50
5990
原创 [ROS] 动态调参 基础教学
1.创建工作空间,功能包#创建工作空间mkdir catkin_wsmkdir catkin_ws/srccd catkin_ws/srccatkin_init_workspace#创建功能包cd catkin_ws/srccatkin_create_pkg --rosdistro ROSDISTRO ROS_Test1 rospy roscpp dynamic_reconfigure2.创建cfg文件touchROS_Test1_cfg.cfg#!/usr/bin.
2021-01-06 16:45:48
1336
1
原创 从测试到产品经理
说说测试，说的稍微夸张一些，我是将产品给到客户的最后一道关卡，我需要对产品质量负责，我们上司最喜欢的说的一句话是:“一切暴露给客户的问题都是大问题，一定要做好代码质量的把控”。..
2020-12-22 21:27:28
605
原创 [kubelet-check] The HTTP call equal to ‘curl -sSL http://localhost:10248/healthz‘ failed with error:
可能性1:10-kubeadm.conf文件缺失vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf# Note: This dropin only works with kubeadm and kubelet v1.11+[Service]Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.con
2020-11-20 15:06:23
11737
2
原创 ubuntu frp方式，实现内网穿透
1.配置FRP(1)配置阿里云服务器 当前阿里云服务器为frp开放的端口为600~6100 为机器同时配置ssh和web端口时端口需要连续（方便记忆），且定义规则ssh端口号为偶数，web管理界面为奇数。 所有配置到工控机的frp端口必须同步记录到阿里云服务器上的/root/frp_0.27.0_linux_amd64/client.info api端口: 6070/6089 每台client端需要配置不同的proxy name[相同机器和不同机器之间.
2020-10-11 14:03:56
10742
原创 [ROS]CmakeLists.txt 与 Package.xml
接文章：ROS基础，创建工作空间，创建功能包，ros功能包相关命令，Catkin编译系统，catkin_make的编译方式Cmake编译方式内容很多，下面仅仅粗略介绍，最好参照官网文档：https://cmake.org/cmake/help/v3.3/manual/cmake-commands.7.html#id21.CMakeLists.txtCMakeLists.txt 的基本语法都还是按照CMake，而Catkin在其中加入了少量的宏，总体的结构如下：cmake_mi..
2020-09-06 17:52:09
1152
原创 线性回归，损失的定义，损失函数与优化方法，用统计学习方法来理解线性回归、损失函数和优化方法，Sklearn使用方法
目录1.线性回归一元线性关系多元线性关系2.损失：评估预测结果与真实值的偏差程度误差累积的结果总损失计算公式：损失函数：最小二乘法3.损失函数的优化方法4.用统计学习方法来理解线性回归、损失函数和优化方法5.Sklearn API接口与使用方式波士顿房价预测案例参考文档1.线性回归线性回归属于监督学习的回归问题的一类，由于回归问题的目标值是连续的，所以线性回归算法的目标是寻找连续的目标值之间的一种趋势，通过获取这种趋势来建立模型。得到测试集后，将特征值
2020-08-09 11:56:46
4430
原创 信息熵-信息的数学度量，决策树的划分依据-信息增益，常见的决策树算法、优缺点，决策树算法-分类树案例
目录1.决策树2.信息熵-信息的数学度量3.决策树的划分依据-信息增益4.常见的决策树算法5.决策树算法-分类树参考文章1.决策树 简而言之，决策树是一棵树，其中每个分支节点代表多个备选方案之间的选择，每个叶节点代表一个决策。它是一种监督学习算法，主要用于分类问题，适用于分类和连续输入和输出变量。 是归纳推理的最广泛使用和实用的方法之一（归纳推理是从具体例子中得出一般结论的过程）。决策树从给定的例子中学习和训练数据，并预测不可见的情况。程序设计中的条件分支结构（if-..
2020-08-02 00:21:56
1720
HttpClient 4.0.1 所有JAR包
2018-05-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人