- 博客(9)
- 收藏
- 关注
RSS订阅原创 CentOS配置python3（手把手详细教程）
目录一、应用场景二、部署步骤1.查看python配置2.安装python3.安装pip4.准备编译环境5.编译安装6.添加软连接7.验证配置成功一、应用场景博主应用场景：Amanzon开源的AutoGluon项目当前阶段只面向linux和mac系统，所以需要在linux环境配置好python以及在此基础上部署其他依赖。注意：以下配置指令仅仅适用CentOS，不适用Ubuntu！！！***补充知识：***一般来说linux系统基本上分两大类：RedHat系列：Redhat、Centos、Fedo
2022-02-24 13:33:25
2223
1
原创 安装启动Spark并使用spark完成java程序及读写Mysql数据库
目录实践目标实践步骤一、安装CentOS二、安装Spark1.下载spark压缩包2. 新建spark专用文件夹3.解压spark包到指定路径/usr/spark下4. 移动spark-3.0.1-bin-hadoop3.2下所有文件5. 修改文件权限6. 验证是否安装成功7. 测试spark shell交互式命令界面8. 查看spark集群三、Spark独立应用程序编程1. 安装sbt2. 编写应用程序3. sbt打包程序4.通过spark-submit提交并运行程序四、Java独立程序1. 安装mave
2021-12-09 23:35:12
4130
1
原创 Mongodb本机部署副本集
目录知识储备1.为什么我们需要搭建副本集模式呢？2.副本集成员构架应用目标实践步骤写在最后知识储备1.为什么我们需要搭建副本集模式呢？MongoDB独立模式可以简单且快速的构建MongoDB数据库系统，然而独立模式存在弊端，即一旦MongoDB发生宕机，将会面临数据丢失的风险，这在生产环境中是不允许发生的，此时我们可以利用MongoDB提供的高可用机制，即复制。MongoDB支持两种复制类型：传统的主/从复制和副本集，副本集可以理解为传统主/从复制的一种复杂形式 ， 支持自动故障恢复功能 ， 拥有
2021-12-06 21:08:43
1948
原创 Python数据清洗
目录应用目标思路分析main函数异常值处理功能函数3σ原则箱形图异常值置空+ 空值填充功能函数异常值置空空值填充读写csv文件功能函数读csv文件写csv文件运行结果源码分享应用目标手动准备异常数据集（使用新手学习最广泛地数据集iris.csv，自行添加异常值和空值）识别异常数据（方法一：3σ原则识别异常值 方法二：箱形图）填补缺失值/空白值（向上填补、向下填补、指定值填补）数据清洗结果保存至文件思路分析main函数为了更好地封装功能函数，采用统一的接口，功能函数返回
2021-11-30 22:14:18
1259
原创 Python多线程遍历爬取FTP文件(附可实现源码)
目录应用目标思路分析1.扫描网段2.远程建立FTP连接3.遍历读取写入文件完整源码（可运行）写在最后应用目标1.扫描网段，获取其中所有的开放FTP服务的机器的IP地址2.依次遍历获取每个FTP的文件3.将文件名及文件路径写入本地文件基于总目标，博主将其划分为三个细分的步骤拆解完成：思路分析1.扫描网段输入起始和终止IP地址，每个IP地址分别对应一个线程。def main(): fir = input('输入扫描网段的ip起始地址:') end = input('输入扫描网段
2021-11-16 14:31:30
1829
转载 Python 多进程和多线程测试实例
目录GIL(Global interpreter lock)例子 1 ：计算密集型任务计算密集型任务-多进程计算密集型任务-多线程例子 2：I/O 密集型任务I/O密集型任务-多进程I/O密集型任务-多线程GIL(Global interpreter lock)说到 Python 中的多线程，一个绕不过去的话题就是全局锁 GIL。GIL 限制了同一时刻只能有一个线程运行，无法发挥多核 CPU 的优势。GIL 本质就是一把互斥锁，既然是互斥锁，所有互斥锁的本质都一样，都是将并发运行变成串行，以此来控制同一
2021-11-16 11:37:43
546
原创 Ubuntu 安装配置SSH(ssh: connect to host localhost port 22: Connection refused问题的解决)
目录应用场景错误信息基础知识配置过程应用场景Hadoop搭建伪集群启动和关闭服务时ssh报错，需要手动安装ssh服务。错误信息基础知识SSH是指Secure Shell,是一种安全的传输协议，Ubuntu客户端可以通过SSH访问远程服务器 。SSH分客户端openssh-client和openssh-server如果你只是想登陆别的机器的SSH只需要安装openssh-client（ubuntu有默认安装，如果没有则sudoapt-get install openssh-client），如果
2021-11-13 22:29:04
3885
原创 Python的socket多线程编程实现(附可实现源码)
mySocketIntroductionUsing python language to complete socket multi-threaded programming and pseudo-intelligent communication through dictionary set.The following shows part of the source code.Server.pyimport socketimport threadingimport timeimport
2021-11-13 13:13:31
2092
原创 pymssql连接sql server报错:pymssql._pymssql.OperationalError
pymssql连接sql server报错:pymssql._pymssql.OperationalError应用场景错误信息配置过程测试片段写在最后应用场景使用pycharm编译器连接SQL SERVER 数据库采用pymssql第三方库，SQL SERVER的TCP/IP协议默认端口是动态的，所以进行远程连接失败。错误信息pycharm的terminal报错信息：pymssql._pymssql.OperationalError: (20009, b’DB-Lib error message
2021-11-10 15:51:55
10510
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人