Python
文章平均质量分 63
davidullua
前华为人,ATM架构师,日常开发经验分享,互联网架构分享
展开
-
结巴分词完全禁用默认词库(仅使用自定义词库)
有时候需要使用自定义的词库,不使用默认的词库。比如做敏感词分词时, 完全禁用掉默认词库。原创 2023-02-19 23:36:55 · 1257 阅读 · 0 评论 -
向量检索(一)Faiss 在工业界的应用和常见问题解决
传统的搜索,使用关键做精确的查找,利用倒排索引在索引库中搜索。日常在用的百度,Google都属于关键词搜索。在 AI 时代我们需要查找一张相似的图片,一个问题的答案,或者根据一段音乐查找对应的歌曲,这些情况下没有准确的关键词用来做检索。 这些图片,问题(文本),语音,不再是简单的一个一维量化的数字,而是包含了大量的属性特征。 因而不合适使用传统的关键字搜索引擎来查找。对于文本,图片,语音,视频,DNA信息等等,都可用向量来表示,数据被特征化处理后用来表示这条数据的向量称之为 Embedding原创 2022-11-07 21:19:17 · 8988 阅读 · 0 评论 -
pip install kenlm 报错 ‘PyThreadState‘ {aka ‘struct _ts’} has no member named ‘exc_type’
Debian 上面 pip 安装 kenlm 的报错 PyThreadState 的成员找不到原创 2022-09-04 23:27:46 · 866 阅读 · 0 评论 -
深度学习代码实践(六)- 使用神经网络来逼近任意函数
问题提出在前面 “深度学习代码实践(四)- 从0搭建一个神经网络:感知机与激活函数”的博文分享中,提到,神经网络的本质是:通过参数与激活函数来拟合特征与目标之间的真实函数关系。单层网络只能做线性分类任务,两层神经网络可以无限逼近任意连续函数。这里提到的“用两层神经网络可以无限逼近任意连续函数”。 那么神经网络是不是真的能够逼近任何函数。 我用 Tensorflow 做了一个实验, 以一个已知函数 z = x^2 + y*2 的 80000个随机的 (x,y) 点作为输入,计算得到函数的 z 值.原创 2021-11-07 18:47:02 · 5164 阅读 · 0 评论 -
深度学习代码实践(五)- 从0搭建一个神经网络:从多元方程到梯度下降反向求导
回到多元方程的求解方法对于构建一个神经网络来说,需要求出每一个神经元的参数。每一层都有线性变换,加上非线性变换组成。 神经网络的求解变成一个多元方程的求解问题。图:要求解的线性函数变换(单层) y1 = x1w11 + x2w21+ ... + xnwn1 + b1 y2 = x1w12 + x2w22 + ... + xnwn2 + b2 y3= x1w13 + x2w23 + ... + xnwn3...原创 2021-11-07 17:29:01 · 2330 阅读 · 0 评论 -
深度学习代码实践(四)- 从0搭建一个神经网络:感知机与激活函数
参加过多次的神经网络的分享,都没弄明白为什么神经网络能够工作,怎么样理解神经网络可以工作?往往会得到这些答案:神经网络很难解释为什么能够工作。不用管他为什么能够工作,只要知道怎么用就好了。到现在为止,还不能很好地解释神经网络为什么能够工作。神经网络要解的根本问题对于输入的多个变量(成百上千,甚至上万个变量),经过多次的函数变换,得到最终解。机器学习的方法,通过人工找到样本的特征,建立模型进行预测。而神经网络是自动找到样本的特征,建立模型进行预测。典型的原创 2021-11-07 16:48:16 · 801 阅读 · 0 评论 -
cv2.error: OpenCV(4.5.2) 出错: loadsave.cpp:721: error: (-215:Assertion failed) !_img.empty() in funct
在运行PixelLib 官方示例的时候, 出现这个错误: File "/usr/local/lib/python3.9/site-packages/pixellib/instance/__init__.py", line 260, in segmentImage cv2.imwrite(save_path, extracted_objects)cv2.error: OpenCV(4.5.2) /private/var/folders/24/8k48jl6d249_n_qfxwsl6xvm...原创 2021-09-28 13:26:25 · 1710 阅读 · 0 评论 -
tensorflow 2.6.0 requires typing-extensions~=3.7.4, but you have typing-extensions 3.10.0.2 的修复
pip3 install pixellib 的时候遇到这个错误:ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.tensorflow 2.6.0 requires typing-extensions~=3.原创 2021-09-28 13:21:17 · 9588 阅读 · 4 评论 -
Python 中的常见陷阱
每一种语言都有各自的场景, 各自的设计, 有各自的坑.近几年来使用场景越来越广泛的 Python, 都有哪些常见的坑(陷阱). 下面是我从初学以来, 碰到过的陷阱(跟其他语言不一样的地方).1.函数内的变量作用域函数内部, 代码块之内定义的变量,代码块之外可以访问。i = 10if i>5: square = i*iprint(square)在 Java/C#/C++/C 之类的语言中, 类似上面的代码逻辑会跑错, 因为 代码运行到最后一行的时候, s...原创 2021-01-07 13:06:50 · 249 阅读 · 0 评论