python
何小义的AI进阶路
记录各种技术坑,记录学习笔记,gogogo
展开
-
库函数方法重写和调用(不影响正常库函数安装加载和调用)
方法重写原创 2022-11-03 10:37:25 · 491 阅读 · 1 评论 -
天地图和谷歌地图静态图像素坐标和经纬度坐标互转
地图像素点转经纬度点。2.谷歌地图原创 2022-06-30 14:26:56 · 2034 阅读 · 4 评论 -
python通过post调用接口报400
今天遇到个坑,简单记录一下!res = {'a':1, 'b':2}headers = {'content-type': 'application/json'}resp = requests.post('http:/xxx/xxx', json=res, headers=headers)上面这样写,就不会报错了。---- 之前报错,总结 -------------------------------------(1)有些要传header的,后端接口设置更多的,header就更复杂;(原创 2022-05-17 17:57:22 · 1490 阅读 · 2 评论 -
贝叶斯算法简单理解
下边是我对贝叶斯算法的简单理解,时间关系,推导不是很严谨,仅仅记录一下基本实现:贝叶斯定理:P(C|X) = P(X|C)*P(C) | P(X)注:这里C和X都是集合,C是所有类别集合,比如男人和女人,C1和C2X是所有样本特征集合,比如身高和体重和颜值,X1/X2/X3...我们称P(C|X)为某个特征下的某个类出现的概率,也是我们推理时候要求的概率。比如...原创 2022-03-22 11:03:34 · 1339 阅读 · 0 评论 -
python 中 byte转为dataframe
加入某个csv: xx.csv如下:因为某种原因,在代码里被读成了 b'dd,ff,gg\r\n3,4,5\r\n6,7,8\r\n9,9,9\r\n' 的byte型了通过如下方式(涉及到StringIO接口的使用),可以回到 dataframe!!!from io import StringIOfrom pandas as pddf = pd.read_csv(StringIO(b"dd,ff,gg\r\n3,4,5\r\n6,7,8\r\n9,9,9\r\n".decode()..原创 2021-01-15 16:51:31 · 1787 阅读 · 0 评论 -
机器学习之python实现逻辑回归
PS. 逻辑回归原理,有很多优秀的帖子详细介绍过,这里不再赘述。(或者后期有时间了再新写帖子专门记录原理)一、python逻辑回归简单案例1. 加载相关库# 基础函数库import numpy as np# 导入画图库import matplotlib.pyplot as pltimport seaborn as sns# 导入逻辑回归模型函数from sklearn.linear_model import LogisticRegression 注:上边seabor...原创 2020-08-19 23:24:15 · 2861 阅读 · 2 评论 -
crontab定时启动python脚本
1、安装crontab (如果服务器没网,则自行百度下载crontab包,传到服务器离线安装)yum install vixie-cronyum install crontabs2、检查是否安装好:rpm -qa | grep crontab 安装成功后,可以看到:3、安装完成后,进入到服务器/etc目录: cd /etc4、如下是crontab一些基本操作:service crond start //启动服务service crond stop ...原创 2020-08-13 14:54:58 · 1701 阅读 · 0 评论 -
Datawhale - 入门NLP之新闻文本分类 - task3 ML实现
目录1. 文本分类之ML方法简介2. one-hot3.Count Vectors4.N-gram5.TF-IDF6.Count Vectors + RidgeClassifier7.TF-IDF + RidgeClassifier8.TF-IDF + 其他ml算法1. 文本分类之ML方法简介(1)机器学习简介 直观定义 ---> 权威定义 ---> 机器学习(Machine Learning, ...原创 2020-07-25 16:00:18 · 386 阅读 · 0 评论 -
Datawhale - 入门NLP之新闻文本分类 - task2 数据分析
前面已经学习记录了: Datawhale - 入门NLP之新闻文本分类 - task1 赛题理解今天继续学习记录:task2 数据分析,主要是对巡检集的数据进行分析,统计,了解数据整体的分布情况!1 竞赛数据来源 竞赛数据来源,进入天池实验室 -- “零基础入门NLP - 新闻文本分类”: https://tianchi.aliyun.com/competition/entrance/531810/information,然后点击报名参赛,再点击“赛题与数据”...原创 2020-07-21 23:21:05 · 370 阅读 · 0 评论 -
linux安装和配置kafka(基础入门步骤)
文章转载至:https://www.jb51.net/article/76397.htm一、关闭SELINUX、开启防火墙9092端口1、关闭SELINUX# vim /etc/selinux/config,代码内编辑内容如下:#SELINUX=enforcing #注释掉#SELINUXTYPE=targeted #注释掉SELINUX=disabled #增加# :wq! #保存退出# setenforce 0 #使配置立即生效2、配置防火墙,开启9092端口#转载 2020-07-21 16:14:59 · 1097 阅读 · 1 评论 -
提取航拍图像的拍摄日期,中心经纬度,焦距,航拍高度,航向角等系列信息。
------------- 背景 --------------------------------------------------一般地,无人机航拍图像都是一种EXIF类型图像。图片内部属性有非常丰富的系列值,包括拍摄日期,图片中心经纬度,焦距,高度,航向角,横滚角,俯仰角等等(只要是右击图片属性能看到的,它都有)。。。具体EXIF图像所有属性,也可以参考这个网站,说的比较全:https://tuchong.com/photo/11686356/exif/-------------- .原创 2020-06-19 17:14:35 · 5693 阅读 · 6 评论 -
python import cv2 报错!
如果import cv2 遇到下面这些错误,则对应安装相关依赖包予以解决。以此做个记录...........错误1:ImportError: libXext.so.6: cannot open shared object file: No such file or directory请安装:yum install libXext.x86_64错误2:ImportError: libSM.so.6: cannot open shared object file: No such file o.原创 2020-05-19 12:01:01 · 1798 阅读 · 0 评论 -
Centos7上安装python3.6流程记录~~~
1、安装python3之前,需要安装它的系列依赖环境,终端执行如下语句:(如果是离线安装,比较麻烦,只有去下载下面这些包传到服务器安装了): yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel expat-devel gdbm-de...原创 2020-04-22 16:50:36 · 211 阅读 · 0 评论 -
Centos7 安装 mysql8超详细流程(逐步介绍)
首先,感谢 “https://blog.csdn.net/weixin_38898423/article/details/103473895” 给我的指导。本文是基于上述博客,再加了一些细节写成!!!!!--- 干货如下 ------> 1 到mysql官网下载符合系统版本的sql8的包(具体怎么下百度一下,我是别人给了一个): 我们服务器是Centos 7.7...原创 2020-04-21 19:52:31 · 2228 阅读 · 1 评论 -
keras、tensorflow 离线安装全部依赖包
(1) 如果你的服务器有网络,一般情况下:直接 pip install keras 和 pip install tensorflow 即可。(2)然而,有时候,由于某些原因,我们的服务器没有连外网,所以只有离线安装keras 和 tensorflow! 比如:我的服务器是centos 6.5, python 3.6, 我...原创 2019-11-27 11:51:05 · 5750 阅读 · 4 评论 -
神经网络梯度消失原因
(PS:因时间关系,本文是口水话,很少公式。需要一定神经网络知识的小伙伴才看的懂哦。如有不对,请批评指正)好啦,戏太多,下面进入正题------------------------------>1. 众所周知,神经网络中的激活函数,很多都是用的S型函数。(sigmiod函数)2. 当神经网络层次够深的时候,更新权重,也许会出现梯度消失!!!原因如下:1 神经网络用的是梯度...原创 2019-11-19 17:26:16 · 3688 阅读 · 2 评论 -
一个简单的Tornado案例(get方法)
部分内容转载至:https://blog.csdn.net/sinat_38682860/article/details/805098641. 新建一个任意xxx.py 文件2. 代码--->#!/usr/bin/env python# -*- coding: utf-8 -*-# @author : 小何import tornado.ioloopimport to...转载 2018-11-08 10:33:13 · 757 阅读 · 0 评论 -
一个简单的tornado案例(post方法)
之前讲了tornado简单案例( get方法)。个人理解:一般地,get方法只是为了通过url传参(不是传json数据),服务器作出响应,get可以向服务器获取到数据(想要的数据)。而post方法可以向服务器传入一个数据进行处理(你想让服务器对数据做什么,达到你的目的),它的数据是放在request body中需要获取的。下面介绍一个简单的tornado案例(post方法的)------&...原创 2018-11-14 11:20:14 · 10269 阅读 · 4 评论 -
python程序超时处理
下面这个小案例,实现对某个函数超时处理:其实就是加了一个装饰器timeoutimport timeimport timeout_decorator@timeout_decorator.timeout(6)def justtest(): time.sleep(5) return 5aaa = justtest()print aaa上面代码我们规定若函数运行...原创 2019-05-31 15:29:50 · 9937 阅读 · 0 评论 -
一个python多线程小例子
一个python多线程小例子:我拿正常for循环 和 多线程 做时间对比:import timefrom urllib2 import urlopenfrom multiprocessing.dummy import Pool as ThreadPool"""一个简单的多线程例子."""urls = [ "http://www.python.org", "......原创 2019-05-31 15:43:56 · 423 阅读 · 0 评论 -
python多进程异步并发处理
如下将实现一个简单的多进程,异步的,并发机制:1. 一些初始定义import multiprocessingaaa = [] # 多个进程公用的公共变量(用于多个进程同时要处理的那个变量)# 将用于多进程分布式散开的一个原本list (for遍历将做12次)test_list = [3,4,5,6,7,8,9,10,11,12,13,14]# 并发进程数(也就是上...原创 2019-05-31 15:50:09 · 3244 阅读 · 0 评论 -
利用pyspark 读取 S3上数据
spark = SparkSession.builder.master('local').appName("hxy_test_script").getOrCreate() sc = spark.sparkContext # s3环境 sc._jsc.hadoopConfiguration().set("fs.s3a.access.key", 你的s3ID-key)...原创 2018-11-01 10:39:53 · 3428 阅读 · 2 评论