- 博客(39)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 ERROR! The server quit without updating PID file (/newdir/mysql/mysqldb/localhost.localdomain.pid).
初始化mysql 在启动mysql服务的时候报错。
2024-07-02 11:18:24
99
原创 ValueError: Index contains duplicate entries,cannot reshape
python-dataframe 在对行转列的时候出现。
2023-09-19 18:02:04
959
原创 python-docx 多个图片放在一行或者多行
最近有个活，想要python进行自动化，每周一次，往word里面插入图片、表格，翻翻 python-docx 官方文档 感觉挺简单的，以下为大概流程。然后cd 到 xxx\envs\demo_env_learn\lib\site-packages\matplotlib\mpl-data。linux 环境运行 考虑调度 crontab 将python 文件 用shell 包一层 方便获取 执行日志 也方便考虑传值问题。在python 代码中限制 当且仅当 传入的数据日期 和 为周1 的时候执行。
2023-07-21 22:00:06
726
原创 虚拟机出现entering emergency mode，使用xfs_rapair出现Device or resource busy解决
对linux虚拟机进行直接关闭，导致虚拟机进入安全模式，需要如何如何去修改entering emergency mode。首先你可以根据他提供给你的命令，查看是什么地方出现了问题，用journalctl命令，然后找到最下面OK，你就可以看见是/dev/mapper/centos-root挂载出现的问题这个时候使用dmsetup ls 查看确定是3卷，然后使用然后等待结束，重启就OK了，也就是上面这个地方注意一下，确定对应的挂载是哪一个，有些是0，这个得根据自己的情况进行解决。...
2022-06-07 00:11:00
3970
1
原创 hadoop解决集群总资源为0的情况
项目场景：sqoop从mysql到hive的问题hadoop解决集群总资源为0的情况问题描述在使用sqoop将数据从mysql导入到hive当中的时候，出现了一个问题bin/sqoop import --connect jdbc:mysql://master01:3306/demo_test?useSSL=false --username root --password xxxx --target-dir /usr/hive/warehouse/test001 --table backup --
2022-03-28 19:05:27
4075
3
原创 窗口函数-order by多个字段排序
文章目录前言总结前言今天出现一个奇奇怪怪的问题他的要求是，查询时间最近一天，结果我就直接窗口排序降序排第一个，就出现了这个问题要求是最后一次出现，而且要有值然后就尝试了一下rn1和rn2：这个地方partition 两个值就会常出现两种排序rn3和rn4：这个地方就是单纯的按照时间来排序的rn5和rn6：这个地方，我们把时间放在前面，就会先按照时间来排，在按照后面的那个进行排序，这里要注意，假定前面一个没有限制升序还是降序，那么就按默认升序来进行的rn7和rn8：这个地方其实是达
2022-03-22 15:54:40
3623
原创 linux读取某个文件夹下所有txt文件，同时截取文件名的某一段字符串，添加到csv中的第一列，合成一个csv，增加第一行表头，同时备份txt文件
文章目录目标一、直接上代码含代码说明二、没啥好说的说点其他的目标linux读取某个文件夹下所有txt文件，同时截取文件名的某一段字符串，添加到csv中的第一列，合成一个csv，增加第一行表头，同时备份txt文件这是我之前写的一个脚本，下面来分析一下一、直接上代码含代码说明#!/bin/bashpath_pwd=$(cd "$(dirname "$0")";pwd)path=$1files=$(ls $path/*txt)for filename in $filesdo name_d
2022-03-04 11:16:40
1916
原创 oracle数据库时间格式踩的坑
文章目录前言一、重现问题二、问题的解决前言前不久碰见一个时间格式的巨坑，在这个地方谨记一下一、重现问题这个问题是怎么出现的呢，当时有个表A，和另外一个表B，他们两个联合起来去重，左联表C，将不在表C的数据录入到表C。是吧，这个问题很简单吧，坑就坑在表A，和表B的格式都一样，唯独有一个字段不一样就叫他datatime字段，但是这个字段又不是分区字段。表A的datatime字段格式是timestamp ,表B的格式是varchar()，但表C的datatime的时间格式是date哇，这就很难受了.
2022-03-02 22:57:35
681
原创 Hive分区表增加字段重跑数据，为何增加的字段无数据
项目场景：Hive分区表增加字段重跑数据，为何增加的字段无数据问题描述：得到一个需求，需要在原来的表上增加字段，增加字段，ok很正常，直接add columns(xxx string)，然后就开始重跑数据了，跑完后发现其他数据正常，就刚添加的字段无数据。 原因分析：提示：这里填写问题的分析：例如：Handler 发送消息有两种方式，分别是 Handler.obtainMessage()和 Handler.sendMessage()，其中 obtainMessage 方式当数据量过大时，由于
2021-12-16 16:45:14
2013
原创 Oracle Partition - Error ORA14400 - inserted partition key does not map to any partition
项目场景：在进行oracle导入数据的时候出现的Oracle Partition - Error ORA14400 - inserted partition key does not map to any partition原因分析：可能是把关键字当成了字段可能是分区建立存在问题时间规划问题解决方案：最后发现的是时间问题，当我建立一个分区后，其实是上一个分区的数据，就比如，你建立的20211216的分区，实际上数据确实录入的20211215的时候的。导致我的数据找不到对应的分区，需
2021-12-16 16:33:52
1275
原创 No matching method for class org.apache.hadoop.hive.ql.udf.generic.GenericUDFOPDivide with (bigint,b
项目场景：在进行hive建表的时候出现的问题FAILED: SemanticException [Error 10014]: Line 23:68 Wrong arguments ‘sau_kpimrcnt’: No matching method for class org.apache.hadoop.hive.ql.udf.generic.GenericUDFOPDivide with (bigint, boolean)问题描述：FAILED: SemanticException [Error
2021-11-18 15:49:52
5399
1
原创 FAILED: SemanticException [Error 10025]: Line 18:11 Expression not in GROUP BY key ‘tac‘
问题描述：在执行sql时候报错FAILED: SemanticException [Error 10025]: Line 18:11 Expression not in GROUP BY key ‘tac’原因分析：上面已经调用了tac这个字段进行了运算，我并没有group by解决方案：在group by 后面加上该字段tac如果是多个表union那么group 应该是别名加tacps:dt.tac搞定...
2021-11-15 16:31:13
455
原创 apache.hadoop.hive.metastore.HiveMetaException: Unknown version specified for initialization: 3.1.0
项目场景：hive3.1.2配置mysql的问题问题描述：我在初始化mysql的时候，一直报错Metastore connection URL: jdbc:mysql://192.168.10.100:3306/metastore?useSSL=falseMetastore Connection Driver : com.mysql.jdbc.DriverMetastore connection User: rootStarting metastore schema initializ
2021-11-11 13:46:59
7119
4
原创 Error while compiling statement: FAILED: ParseException line 86:6 missing EOF at ‘by‘ near ‘group‘
项目场景：提示：这里简述项目相关背景：例如：项目场景：示例:通过蓝牙芯片(HC-05)与手机 APP 通信，每隔 5s 传输一批传感器数据(不是很大)问题描述：提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP 中接收数据代码：@Override public void run() { bytes = mmInStream.read(buffer); mHandler.obta
2021-10-19 16:20:15
3172
原创 云服务器python远程虚拟环境的搭建以及自动同步
系列文章目录关于FinalShell软件云服务器安装和连接文章目录系列文章目录一、连接界面二、环境配置1、安装virtualenv、virtualenvwrapper2.配置.bashrc三、Pycharm连接四、服务器端口开放ps:该系统为Ubuntu 20.04系统一、连接界面假设我们连接到了云服务器，就有了这个画面这就和我们平时用的linux差不多啦Ubuntu 20.04系统和以前稍微有些差异，以前是sudo apt-get install xxx现在直接yum insta
2021-10-08 16:22:21
1003
原创 云服务器连接
文章目录一、云服务器二、连接云服务器一、云服务器我选择的是阿里云的云服务器ESC，认证学生用户，由于是学生优惠，所有还是比较便宜的，这个可以搭建一些小型网站和线上博客等等。当你购买完成后，就会要求你创建实例，实例就是你可以选择的镜像以及配置，你可以选CentOS、Ubuntu等等，这些都是空系统，你也可以选择已经配置完成的系统进行操作，或者导入本地系统我使用的是Ubuntu的最新的20.04，极其舒服，但也可能导致你的产品上线出问题，Ubuntu最新自带python 3.0+，完全不用在向以前那
2021-10-08 14:23:47
162
原创 python数据结构排序和查找算法06
文章目录一、各种排序的时间复杂度二、排序一、冒泡排序二、插入排序三、选择排序四、shell排序五、快速排序六、归并排序七、计数排序三、二分查找一、各种排序的时间复杂度在观看本文章之前，推荐链接: 视觉算法该辅助工具提供了对代码进行可视化的界面，帮助更能够理解不仅仅只有排序，还有二叉树，递归，哈希表等的可视化。二、排序一、冒泡排序冒泡排序比较简单，每一次都对相邻的两个数进行比较，前者大于后者就进行位置交换，是原地排序算法def bubble_sort(alist): for i.
2021-08-10 18:14:34
174
原创 python数据结构递归05
文章目录递归一、递归三要素二、递归堆栈溢出的情况1.什么叫堆栈溢出2.递归实际操作3.尾递归递归在我学习过程中，递归是一个较难的点，其本身是一种运用非常广泛的编程方法，像深度优先搜索、遍历二叉树等等都会运用到递归。首先，在递归过程中，我们自己的大脑更倾向于一种直接的计算，而并非重复的计算，这也就表明了，我们，并非需要去用脑袋去一层一层的刨析，每一层到底发生了什么，当数据量上来，我们人脑是很难去接受的。所以我们需要跳出误区，避免自己去给自己增加障碍。一、递归三要素递归算法必须要有一个基本
2021-07-17 17:28:52
95
原创 python数据结构链表04
文章目录关于链表一、单链表1.为啥数组和链表的倾向不同2.链表的插入和删除二、循环列表三、双向链表三、双向循环链表四、leetcode实战关于链表相比较于数组，链表更加复杂，但在学习过程中还是将链表与数组进行对照理解数组是需要一块连续的内存空间来进行存储的，对内存的要求是比较高的链表并不需要一块连续的内存空间，它是通过指针将零散的块串联起来这也就导致了它们擅长的方向的不同，数组更加倾向于下标的随机访问，链表则倾向于插入，删除。一、单链表从图可知每个节点存储的的东西除了其本身的数据外，还
2021-07-13 14:22:44
93
原创 python数据结构栈03队列
python数据结构栈03队列文章目录python数据结构栈03队列一、队列二、实现队列三、升一下级“双端队列”1.简单解释双端队列2.有啥用一、队列队列是什么呢？队列就是一种有次序的数据集合，是有次序，并非是排序。特点和栈有些不同，队列的数据添加总发生在一端，移除数据则在另外一端。意味着队列只有一个进口和一个出口。队列遵循先进先出的原则，与栈的先进后出相反举个例子：我们都知道一个火爆的店铺往往外边都是大排长龙，所谓的排队就是队列啦，当然作为新时代的好青年，当然是杜绝插队这种行为
2021-06-28 01:43:59
66
2
原创 python数据结构栈02(前中后缀的表达式转换)
本文主要讲前缀，中缀，后缀以及其实现python数据结构栈01(简单栈的实现)文章目录python数据结构栈01(简单栈的实现)一、1、中缀2、前缀3、后缀有手就行实现如果不想看文字，只是想学会怎么转换，建议之间点上边有手就行，迅速学会，不会来找我。一、1、中缀为啥要从中缀开题呢，主要是我们的现实生活中，中缀是比较常见的，比如A+B--------"+"是位于A和B之间的，还比如A+B*C，这可能在我们人眼中一眼就可以看出来，是先乘后加，可是当我们并没有学过到底谁先进行那怎么办呢。在计算
2021-06-25 21:34:55
524
1
原创 The requested URL was not found on the server. If you entered the URL manually please check your spe
项目场景：项目场景：flask蓝图在区分不同路径是出现BUGNot FoundThe requested URL was not found on the server. If you entered the URL manually please check your spelling and try again.The requested URL was not found on the server. If you entered the URL manually please check
2021-06-24 20:49:17
23024
原创 python数据结构栈01(简单栈的实现)
python数据结构栈（一）文章目录python数据结构栈（一）一、什么是栈1.python实现栈来，实操一、什么是栈我们可以把栈想成叠起来的盘子和书如下图，每次拿都是取最上面的一个。在栈中，数据的加入和移除都在一端，这一端交栈顶，另一端叫栈底。在整一张栈的图：栈，遵循“先进后出”的原则，先进入的数据就在里面待的时间越长。所以栈的特性我们也就知道了“反转序列”。就比如我们的网页，点击前进后退，就是进栈和出栈的过程如果你不想把上方当作栈顶，那么你就把上图横过来，这样看，就可以把栈顶，
2021-06-24 18:10:06
226
原创 python中*的使用和正则表达式
文章目录前言一、正则表达式的一些基础二、解释*三、关于*的想法前言该文章来源于做leetcode时，发现一位大佬的代码，里面的 * 有点发懵，于是自己进行了测试大佬链接leetcode通过图片发现re.findall()前面的存在*我把*去掉过后发现代码不能运行了我是谁？我在哪？发生了什么？淦!!!一、正则表达式的一些基础re模块. ：匹配任意1个字符（除了\n）[ ] ：匹配[ ]中列举的字符\d ：匹配数字，即0-9\D ：匹配非数字，即不是数字\s ：匹配空白，
2021-06-15 13:33:32
598
2
原创 python—scrapy框架爬虫—链家二手房数据
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码
2021-06-04 23:36:06
4597
8
原创 pytorch-CNN岩石分类（本地数据）
本文数据来源于第九届泰迪杯数据挖掘挑战赛，需要的好兄弟可以自行去下载哦，也可以下载我处理好了的数据。文章目录前言一、图片压缩，预处理二、代码部分1.数据准备部分2.模型部分：总结 前言深度学习的卷积神经网络是一个比较重要的研究方向，关于卷积的一些理论，在我的另外一篇博客大家可以去了解一下。一、图片压缩，预处理把岩石数据分成了7类：先通过数据处理把图片分成7类，方便我们后续的导入。图片压缩会造成损失,所以对原图片还是需要进行处理，比如：很明显，这个地方图片从35M变成了930KB，
2021-05-24 11:26:30
2776
12
原创 好用方便的卷积网络总结小技巧
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、卷积网络的核心概念1.核心特点2.卷积原理二、使用步骤1.引入库2.读入数据总结前言前段时间参加了一个比赛，主要是关于图像分类方面的，刚好最近把他腾出来。一、卷积网络的核心概念1.核心特点卷积网络的核心特点：卷积+池化的架构。而且卷积的方式是有选择性的局部链接2.卷积原理卷积网络是通过卷积层中的过滤器用卷积计算图像的核心特征进行抽取。从而提高图像处理的效率和准确率。我们要知道人眼识别和机器识别的区别，
2021-05-14 00:05:42
199
1
原创 pytorch卷积神经网络(cnn)手写数字识别
文章目录前言一、我们首先了解以下机器学习的数据结构1.数据结构2.表现形式二、使用步骤1.引入库2.读入数据总结前言首先本文很感谢莫烦老师，在他的视频中学到了很多东西。这是一篇pytorch实现手写图片识别文章，这其中还有自己的一定见解。有错误的地方，还麻烦指正。一、我们首先了解以下机器学习的数据结构1.数据结构标量（也就是我们说的张量）：数据存储在numpy数组中，一般用于流程控制和设置参数值等向量：1D张量就叫做向量，普通的连续数值数据集可以叫作向量数据集，2D张量（一般是..
2021-05-09 23:44:20
709
5
原创 使用清华园安装pytorch、TensorFlow 2.0
使用清华园安装pytorch、TensorFlow 2.01、pytorch安装一、你可以通过官网去下载pytorch官网链接.可以像我这样选择，但是这样选择代表你不选择GPU，如果需要GPU运行代码，可以考虑前面的两个二、清华园安装，速度很快这个地方选择上面的那个复制下来之后加在之前 xxx -i https://pypi.tuna.tsinghua.edu.cn/simple2、TensorFlow 2.0安装清华园镜像pip install tensorflow-gpu==2.
2021-05-07 23:09:19
1304
1
原创 python批量读取存储图片
一、python-os库os库提供了一种使用与操作系统相关的功能的便捷式途径。可以通过os去查找路径或者大量文件的读取操作。如果有很多不明白的地方可以再去看看python基础里面os模块，或者查看相应的文档.二、os处理批量图片1.skimage方式import osfrom skimage import iopath_2 = 'G:/change_size_1'for filename in os.listdir(path_2): img = io.imread(path_2 +
2021-05-01 10:48:56
4927
原创 python-opencv实现图片卷积
python-opencv实现图片卷积什么是图像卷积在计算机视觉领域中，数字图像是一个二维的离散信号，对数字图像做卷积操作其实就是利用卷积核（卷积模板）在图像上滑动，将图像点上的像素灰度值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值，并最终滑动完所有图像的过程。下面是一个示意图：①卷积核是什么：通俗来说，卷积核就是一个二维的滤波器矩阵②卷积核的移动：通常我们设定step=1，但是也可以改变。当卷积核移动到图像边缘时，这个时候我们需要...
2021-04-21 12:24:32
3337
4
原创 python-selenium爬虫操作
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、selenium爬虫二、使用步骤1.安装2.爬虫代码部分总结前言Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera，Edge等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在
2021-04-11 12:55:13
1414
1
原创 python爬虫二级子页面爬取
python爬虫二级页面爬取文章目录python爬虫二级页面爬取前言一、流程二、操作部分1.请求头设置2.第一级页面爬取3.二级页面内容爬取4.运行结果前言推荐一个爬虫的小玩意叫 xpath helper是一个扩展程序打开可以直接定位你想要地方的位置crx文件我没有了，百度总会找到的效果：python爬虫爬取二级子页面，是在第一级页面爬取到第二级页面的链接，通过链接去访问二级页面进行爬取。一、流程①爬虫的第一个步骤就是对起始 URL 发送请求，以获取其返回的响应；②返回的网.
2021-04-01 14:22:46
13944
14
原创 图片的混合空间增强操作Opencv-python实现
基于Opencv-python的图片混合空间增强操作文章目录基于Opencv-python的图片混合空间增强操作前言一、混合空间增强操作流程图二、python代码实现操作三、效果图前言图片混合空间增强操作，可以增加对于图片的辨识度，达到更加清晰的效果。一、混合空间增强操作流程图（1）需要将原图片进行Laplace锐化处理，将锐化后的结果与原图像进行相加；（2）将原图像进行索贝尔梯度处理，通过5x5的均值滤波对梯度处理后的结果进行处理噪声；（3）将（1）的结果与（2）的结果相乘；（4）
2021-03-29 17:05:27
2554
8
原创 OpenCV-Python 彩色图像转灰度图
本文主要是讲OpenCV-Python对图像进行彩色转灰度图的操作文章目录前言一、读取图片二、彩色图片转灰度图强烈说明：前言这里给出一个OpenCV-Python官方文档的链接链接: OpenCV-Python官方文档.一、读取图片使用函数cv2.imread（）读取图像。该映像应位于工作目录中，或者应提供完整的映像路径。第二个参数是一个标志，用于指定应读取图像的方式。cv2.IMREAD_COLOR：加载彩色图像。图像的任何透明度都将被忽略。这是默认标志。cv2.IMREAD_.
2021-03-21 13:44:56
38055
1
原创 python简单爬虫实现
标题：python爬虫实现文章目录标题：python爬虫实现一、网络爬虫的概论二、网络爬虫的流程三、实际操作1.导入包2.设置一个请求头3.代码过程3.翻页实现和数据存储3.结果展示一、网络爬虫的概论网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。二、网络爬虫的流程①爬虫的第一个步骤就是对起始 URL 发送请求，以获取其返回的响应。②返回
2021-03-15 14:43:01
627
4
原创 GBRT（梯度提升回归树）python实现
GBRT（梯度提升回归树）python实现文章目录GBRT（梯度提升回归树）python实现前言一、什么是梯度提升回归树是什么？二、使用步骤1.不多说直接上代码2.建立模型总结前言随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的梯度提升回归树（GBRT）所以我爬了一个二手房网站，获取了一些二手房房屋信息，然后通过机器学习进行分析。一、什么是梯度提升回归树是什么？梯度提升回归树是一种集成方法，通过合并多个决策树来构建一个更为强大的模型。这
2021-03-12 00:12:07
7185
5
TA创建的收藏夹 TA关注的收藏夹
TA关注的人