Python
CY_TEC
Good good study, day day up~~~
展开
-
binary_crossentropy 计算有问题,导致训练出错 auc 异常
我在改一个训练流程的时候,auc 总是在 0.5 左右徘徊。检查了一下 loss 啥的,好像也没啥问题,后来逐行看了下代码才发现,传给 loss function 的 label 和 predicion 的 shape 对不上。一个是 (N,) 一个是 (M,1)。我去看了下 tf 里面的 binary_crossentropy,如下:@keras_export('keras.backend.binary_crossentropy')def binary_crossentropy(target,原创 2021-05-23 20:41:52 · 786 阅读 · 0 评论 -
python globals()
在 python 中,允许使用 globals() ,调用对象名称来使用对象。比如,class abc(): def print(self): print('hhh')g = globals()g['abc']().print() # 实例化一个 class abc,并调用函数原创 2021-05-13 14:47:06 · 273 阅读 · 0 评论 -
tf 读取 hdfs 上的文件
读取 hdfs 上的文件,需要指定节点名以及配置好环境变量。比如:filename_queue = tf.train.string_input_producer([ "hdfs://namenode:8020/path/to/file1.csv", "hdfs://namenode:8020/path/to/file2.csv",])或者filename_queue = tf.data.Dataset.list_files([ "hdfs://namenode:8020/p原创 2021-05-13 11:27:37 · 1706 阅读 · 0 评论 -
RuntimeWarning: overflow encountered in exp
今天在sigmoid 函数中使用 numpy.exp 的时候,遇到了 RuntimeWarning: overflow encountered in exp ,看到其他人的博客里面的解决方法。# https://www.cnblogs.com/zhhy236400/p/9873322.htmldef sigmoid(inx): if inx>=0: #对sigmoid函数的优化,避免了出现极大的数据溢出 return 1.0/(1+exp(-inx)) e原创 2020-05-12 19:53:12 · 23645 阅读 · 4 评论 -
scipy.sparse.dia_matrix 中的 offsets 含义
https://docs.scipy.org/doc/scipy/reference/generated/scipy.sparse.dia_matrix.html dia_matrix((data, offsets), shape=(M, N)) where the data[k,:] stores the diagonal entries for diagonal offsets[k] (See example below)这个真实太难懂了。。只好搞个例子。。。data = np.array([[1原创 2020-05-12 13:37:37 · 1215 阅读 · 0 评论 -
Python list 与 array 的区别
个人理解list 是一个高级封装对象,存着每个对象的引用。至于引用是啥类型,list 并不关心。list 只关心引用这一种类型就行了。array 就和 c 语言里面的数组是一样的了。array 要求里面储存的数据类型必须一致。里面的类型有 b, B, u, h, H, i, I, l, L, q, Q, f or dimport arraya = array.array('i') # 声...原创 2019-12-02 19:39:24 · 317 阅读 · 1 评论 -
pyspark.sql.Row 使用 dictionary 初始化的方法 “TypeError: sequence item 0: expected string, dict found”
from pyspark.sql import Rowrow_dict = {'C0': -1.1990072635132698, 'C3': 0.12605772684660232, 'C4': 0.5760856026559944, 'C5': 0.1951877800894315, 'C6':...原创 2018-09-03 15:14:58 · 3055 阅读 · 0 评论 -
[Leetcode] 406. Queue Reconstruction by Height 直觉解释
https://leetcode.com/problems/queue-reconstruction-by-height/首先,我们找到最小的 height (h, k),这个数据对的最终位置应该是在 k + 1 的位置上。因为这个值是最小的值,所以其它的值就不小于它。如果它不在 k + 1 这个位置上,比如在 k + 1 + 1 这个位置上,那么它就应该是 (h, k + 1),因为它前面有...原创 2018-11-24 19:58:48 · 176 阅读 · 0 评论 -
[Leetcode] 406. Queue Reconstruction by Height 直觉解释
406. Queue Reconstruction by Heighthttps://leetcode.com/problems/queue-reconstruction-by-height/首先,我们找到最小的 height (h, k),这个数据对的最终位置应该是在 k + 1 的位置上。因为这个值是最小的值,所以其它的值就不小于它。如果它不在 k + 1 这个位置上,比如在 k + 1...原创 2018-11-24 20:00:32 · 175 阅读 · 0 评论 -
[leetcode]138. Copy List with Random Pointer
138. Copy List with Random Pointer方法一 Complexity O(n), Space O(n)做一个旧结点和新结点的映射,再连接 random 指向的旧结点的映射结点# Definition for singly-linked list with a random pointer.# class RandomListNode(object):# ...原创 2018-12-04 12:20:26 · 150 阅读 · 1 评论 -
[leetcode]159. Longest Substring with At Most Two Distinct Characters
159. Longest Substring with At Most Two Distinct Characters.1 暴力法Time Limit Exceededclass Solution(object): def lengthOfLongestSubstringTwoDistinct(self, s): """ :type s: str...原创 2018-12-01 20:02:14 · 251 阅读 · 0 评论 -
Python 的 class 对象可以添加私有属性
我在使用结点的时候,给一个成员函数赋值。然而我拼写错了,程序也没有报错。class Node(object): def __init__(self, val): self.val = valnode = Node(0)node.test = 'hh'print node.test# output: hh...原创 2018-12-14 15:48:32 · 323 阅读 · 0 评论 -
NLTK train_unsupervised KeyError
trainer = HiddenMarkovModelTrainer(tag_set, list(symbols)) print('Training (unsupervised, %d sentences)...' % unsupervised) # it's rather slow - so only use 10 samples by default unla...原创 2019-03-13 15:56:09 · 331 阅读 · 0 评论 -
'str' object does not support item assignment in Python
Python 中 string 里的字母是不可删改的。如果我们想修改一个字母,该怎么办呢? 我目前想到的是把 string 变成 listarr = list(ss)https://stackoverflow.com/questions/10631473/str-object-does-not-support-item-assignment-in-python...原创 2018-08-20 10:01:13 · 722 阅读 · 0 评论 -
将python字符串转化成长表达式的函数eval
爬一个网页时,要保存的数据都没有encode,就导致保存下来的中文都变成unicode了。。。那么,怎么把一个表示字符串的unicode还原成unicode呢?函数eval(expression)就可以帮助完成这项工作。例如:>>> a = "u'\\u674e'">>> print au'\u674e'>>> print eval(a)李该函数的描述:The expr原创 2016-03-30 09:18:24 · 6658 阅读 · 0 评论 -
使用selenium等待网页加载完成,lxml解析网页,利用urllib爬取图片
本来想爬六维空间(http://bt.neu6.edu.cn/)的搞笑图片来着。。。不知道为啥这两天上不去了。。。于是就拿品知人大试一下python的这两个库。用到的lxml函数可以参考:http://lxml.de/api/lxml.html.HtmlElement-class.html主要的思路就是利用urllib获取网址内容,利用lxml解析特定规则的url。要爬取的原创 2016-04-28 23:05:36 · 4772 阅读 · 0 评论 -
使用Apache与mod_wsgi部署Django应用到服务器
使用Apache与mod_wsgi部署Django应用到服务器前言之前没有做过网络应用,觉得它非常神奇,竟然可以共享全世界那么多资源和应用! 看到别人好多都有自己的博客网站,心里也是痒痒得。今天花了些时间把它搭建起来!准备 环境 说明 公有IP服务器 例如,我的域名:121.42.53.153 服务器操作系统 Linux Python 版本 2.7.6 Dj原创 2016-06-30 10:49:44 · 3537 阅读 · 0 评论 -
Django个人网站中加入Markdown编辑功能
Django个人网站中加入Markdown编辑功能Markdown真是个好东西!Markdown是一种文本语言,用它写好的东西,具有简单清晰的样式。它可将text转化成html或者xhtml。 与html相比,它具有更简单的语法,基本上写上一个简单的文档就可以入手。安装markdown这个可以看成是将markdown转化成html的工具。而想把markdown文本以html的格式显示到页面上还需要原创 2016-06-30 19:55:44 · 8476 阅读 · 0 评论 -
sklearn.cluster.KMeans 报错 ValueError: n_samples=1 should be >= n_clusters=10
Python: List Comprehensions (列表推导)原来 python 支持列表推导的形式生成列表,但是还是不如 haskell 的列表推导好用。 下面是使用数学公式对列表的描述:S = {x² : x in {0 ... 9}}V = (1, 2, 4, 8, ..., 2¹²)M = {x | x in S and x even}其实不是什么新名词,大家看一下就知道了:>>原创 2017-09-11 12:24:22 · 18304 阅读 · 0 评论 -
TypeError: cannot perform reduce with flexible type
TypeError: cannot perform reduce with flexible type遇到这种情况,就是你的数据要明文指定一个类型了。 比如,你在文本文件中读取一个数据时for i in open('fsomefile'): i = int(i)...原创 2018-05-05 20:57:24 · 4986 阅读 · 0 评论 -
haversine-formula
haversine formula给定一个点的经纬度和一个范围长度,计算以这个点为中心的正方形边界,初步实现代码: https://github.com/SunnyCat2013/haversine-distance/blob/master/haversine.py球面上任意两点的中心角求解公式:hav(dr)=hav(ϕ2−ϕ1)+cos(ϕ1)cos(ϕ2)hav(λ2−λ1)...原创 2018-05-27 15:35:58 · 4201 阅读 · 0 评论 -
xgboost get_fscore 判断特征重要程度的三种指标
xgboost get_fscore 判断特征重要程度的三种指标get_fscore 有三种种评判特征重要程度的方法:‘weight’ - the number of times a feature is used to split the data across all trees.‘gain’ - the average gain of the feature when it i...原创 2018-06-06 10:01:53 · 15346 阅读 · 0 评论 -
对多个 pandas dataframe 进行 join
对多个 pandas dataframe 进行 join貌似没有对多个 dataframe 进行 join 的方法,比较笨的就是手动挨个 join。 今天学习到一个新的方法,使用 functools.reduce 方法。我之前还纳闷,python 这样一种 functional programming 的语言,怎么会没有 map/reduce/filter。原来 python3 把这 red...原创 2018-06-22 07:19:21 · 3314 阅读 · 0 评论 -
使用 python 手写 决策树
使用 python 自己写一个 决策树很多复杂的学习方法,明白了其基础之后,一切就变得简单、易懂,并且符合直觉。 我今天打算手写一个决策树,或者说是“分类回归树”。参考https://machinelearningmastery.com/implement-decision-tree-algorithm-scratch-python/决策树是一种强大的预测方法,在工业界的数据...原创 2018-06-08 18:15:36 · 3292 阅读 · 0 评论 -
python isalnum 判断是不是字母或者数字
In [1]: 'a'.isalnum()Out[1]: TrueIn [2]: '0'.isalnum()Out[2]: TrueIn [3]:原创 2018-07-26 10:17:34 · 1176 阅读 · 0 评论 -
python True or False 可以作为下标使用
如题:In [1]: 'xo'[True]Out[1]: 'o'In [2]: 'xo'[False]Out[2]: 'x'In [3]: [1,2][False]Out[3]: 1In [4]: [1,2][True]Out[4]: 2原创 2018-07-27 17:08:10 · 1337 阅读 · 0 评论 -
mac 使用安装 chardet
sudo pip install chardet原创 2015-10-10 16:39:59 · 1246 阅读 · 0 评论