- 博客(17)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 【python自动化】搭建个人图床，批量上传图片生成外链
使用七牛云搭建个人图床，并使用python脚本实现自动化批量上传图片，并生成图片的外链。
2022-10-15 11:48:39
2903
1
原创 【大数据环境搭建（四）】在Centos7上搭建Hive集群（Mysql远程模式）
【大数据环境搭建（四）】在Centos7上搭建Hive集群（Mysql远程模式）集群配置使用三节点，master(客户端)、slave1(服务器)、slave2(元数据)，jdk1.8.0_171zookeeper-3.4.10hadoop-2.7.3hive-2.1.1mysql5.7一、slave2上安装Mysql下载wget：yum -y install wget1、配置下载源下载依赖包：wget https://dev.mysql.com/get/mysql57-c
2021-09-10 13:05:58
741
原创 【大数据环境搭建（三）】在Centos7上搭建Hadoop集群（完全分布式）
【大数据环境搭建（三）】在Centos7上搭建Hadoop集群（完全分布式）集群配置使用三节点，master、slave1、slave2，jdk1.8.0_171zookeeper-3.4.10hadoop-2.7.3一、基础配置首先使用Xshell连接虚拟机，不知道怎么连接的同学可以参考文章底下的系列文章链接。更改主机名hostnamectl set-hostname master（在master执行）hostnamectl set-hostname slave1（在slave1执
2021-07-25 22:41:03
1402
原创 【pyecharts】python pyecharts画图时数据无法显示
【pyecharts】pyecharts画图时数据无法显示出错场景原因分析解决方案出错场景仿照官方例子，仅对数据源进行修改，发现数据基本一样，但是官方例子可以显示，自己修改过的显示不了。（图一正常显示，图二数据无法显示）原因分析你是否也有上述的错误，感觉数据并没有问题，但是就是显示不了出错原因：数据类型错误我们打印一下两者的数据类型官方例子数据：自己的数据：可以发现，我们的数据类型时numpy的，这就是出错的根源。解决方案当我们的数据类型为numpy.ndarray时，我们
2021-07-23 23:10:51
7165
9
原创 【大数据环境搭建（二）】使用Xshell SSH连接虚拟机详细教程
【大数据环境搭建（二）】使用Xshell SSH连接虚拟机详细教程Xshell下载及安装Xshell下载Xshell安装Xshell SSH连接虚拟机获取主机ip地址Xshell外观设置字体调整背景图调整Xftp文件传输总结大数据环境搭建系列文章链接后续Xshell下载及安装考虑到部分同学还没下载Xshell，所以给出Xshell下载安装教程，下好Xshell可以跳过这部分。Xshell下载以下使用的是家庭/学校免费版Xshell7Xshell下载地址：https://www.netsarang
2021-07-20 17:46:03
1125
1
原创 【大数据环境搭建（一）】VMware虚拟机安装Centos7详细教程
【大数据环境搭建（一）】VMware虚拟机安装Centos7详细教程准备一、VMware下载及安装下载安装VMware二、Centos7安装Centos7镜像下载Centos7安装总结后续准备此教程所用的配置如下：VMware-workstation-full-16.1.2-17966106.exeCentOS-7-x86_64-Minimal-1804.iso备注：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。一、VMware下载及安装下载下载地址
2021-07-19 00:33:01
743
2
原创 【python还能这么玩？！】截图后粘贴就是词云图，秒看懂密密麻麻的文字图片！
【python还能这么玩？！】截图后粘贴就是词云图，秒看懂密密麻麻的文字图片！前言效果图识别照片中的文字jieba切分文字生成词云图照片输入问题读取剪切板里面的照片照片输出问题照片放入剪切板程序运行问题新建OCR.bat新建OCR.vbs设置开机自启使用截图shift + alt + e粘贴参考文章源码前言 暑假在家闲来无事，总想着搞个项目来练练手，一开始想到是想用spark做个实时处理的项目，就是实时对视频弹幕生成词云图，这样就可以实时掌握网友的高频评论词语，使用的语言是Scala，用到的组件有
2021-07-15 21:39:21
615
6
原创 Python jieba wordcloud绘制a站弹幕的词云图
Python jieba wordcloud绘制词云图数据来源分词绘制词云图获取弹幕路径main方法运行结果完整代码数据来源首先，咱们吧a站视频的弹幕爬取下来先，爬取方法在上一篇文章中: Python爬取a站视频弹幕分词要绘制词云图，首先咱们得对弹幕进行分词统计，这里用到了jieba库，jieba的详细介绍可以看https://github.com/fxsjy/jieba咱们这里用jieba.cut()来切分,接着咱们需要对切分完的单词进行筛选，以为并不是所有单词但是有意义的，所以咱们在这里去除
2021-06-29 15:04:54
206
原创 Python爬取a站视频弹幕
Python爬取a站视频弹幕单页爬取分析翻页分析编写爬虫代码导库表头设置获取所有视频的videoId以及视频名称获取弹幕列表写入本地main方法完整代码运行效果单页爬取分析以这个为例子https://www.acfun.cn/bangumi/aa5024874_36188_327049首先，我们按F12进入控制台然后按Ctrl+F，查找我们在视频中看到的弹幕以图中为例，我们查找“乌乌乌乌乌”的位置，由此我们找到了弹幕在网址中的位置，我们用xpath匹配一下弹幕，可以发现，我们只匹配到了28条弹
2021-06-27 23:46:19
2402
4
原创 Task05：爬虫入门与综合应用
爬虫入门与综合应用实践项目：自如公寓数据抓取分析网页编写爬虫代码运行效果实践项目：自如公寓数据抓取分析网页# urlhttps://wh.ziroom.com/z/z/# 翻页：'https://wh.ziroom.com/z/p' + str(i) + '/'# 提取网页中的'名称','面积','朝向','户型','位置','楼层','是否有电梯','建成时间',' 门锁','绿化'。# 房子url//div/h5/a/@href# 名称//h1[@class="Z_nam
2021-06-27 01:12:58
215
原创 Task04：Python操作PDF
Python操作PDF准备批量拆分批量合并提取文字内容提取表格内容提取图片内容转换为图片准备首先，安装PyPDF2、pdfplumber、PyMuPDF和pdf2image模块pip install PyPDF2 pdfplumber PyMuPDF pdf2image接着找到utils.py 文件，定位到第 238 行原文，如果你使用的是 anaconda，对应的文件路径应该为：anaconda\Lib\site-packages\PyPDF2\utils.py原文中是这样的： r = s.
2021-06-23 22:42:39
209
原创 Task03：python自动化之word操作
python自动化之word操作项目实践需求需求分析代码效果总结项目实践需求你是公司的行政人员，对合作伙伴进行邀请，参加公司的会议；参会人名单如下：拟定的邀请函样式如下：根据参会人名单，利用python批量生成邀请函。需求分析逻辑相对简单：获取 Excel 文件中每一行的信息，提取参数；结合获取的参数设计邀请函样式并输出。设计word段落及字体等样式。代码# 导入库from openpyxl import load_workbookfrom docx impor
2021-06-20 23:33:54
266
原创 Task02：Python与Excel
Python与ExcelExcel读取读取对应表格读取单元格读取多个格子的值练习题Excel写入写入单元格并保存写入行数据并保存将公式写入单元格保存插入列数据插入行数据删除移动Sheet表操作创建新的Excel表练习题首先，安装openpyxl和xlwt模块pip install openpyxl、pip install xlwtExcel读取test.xlsx表如下：读取对应表格# 导包from openpyxl import load_workbook# 1.打开已经存在的Excel表
2021-06-18 20:36:00
372
原创 TensorFlow各类损失函数实现方法【TensorFlow学习笔记】
TensorFlow各类损失函数实现方法1.创建预测序列和目标序列2.L2正则损失函数3.L1正则损失函数4.Pseudo-Huber损失函数5.重新给x_vals和tartget赋值6.Hinge损失函数7.两类交叉熵损失函数8.Sigmoid交叉熵损失函数9.加权交叉熵损失函数10.Softmax交叉熵损失函数11.稀疏Softmax交叉熵损失函数1.创建预测序列和目标序列x_vals = tf.linspace(-1., 1., 500)target = tf.constant(0.)2.L
2021-06-17 16:12:20
257
原创 解决Pthon中无法安装旧版本TensorFlow问题
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码
2021-06-17 15:42:47
7343
原创 Task01：Python文件自动化处理&邮件批量处理
Python文件自动化处理&邮箱批量处理练习笔记生成随机的测验试卷文件将州和它们的首府保存在一个字典中针对测验文本文件和答案文本文件，调用 open()、 write()和 close()利用 random.shuffle()随机调整问题和多重选项的次序完整代码看看最后的效果生成随机的测验试卷文件假如你是一位地理老师，班上有 35 名学生，你希望进行美国各州首府的一个小测验。不妙的是，班里有几个坏蛋，你无法确信学生不会作弊。你希望随机调整问题的次序， 这样每份试卷都是独一无二的，这让任何人都不能
2021-06-16 21:05:57
241
原创 docker-compose快速部署spark on yarn集群
docker快速部署spark on yarn集群下载镜像文件下载docker-compose.yml文件启动集群进入容器下载镜像文件docker pull registry.cn-hangzhou.aliyuncs.com/fenglicong_test/spark下载docker-compose.yml文件git clone https://code.aliyun.com/fenglicong/spark_on_yarn.git启动集群先进入spark_on_yarn文件夹：docke
2021-03-18 09:55:41
950
空空如也
python round 浮点数异常，round(880/884, 4) * 100
2022-03-25
如何快速找出超大数范围之内的所有质数，只要思路，语言不限。
2021-08-06
我想scrapy使用IP代理时爬取失败就重试三次，重试失败后删除无效ip怎么操作呢？
2021-07-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人