- 博客(17)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 用一个Flask的小例子来聊聊架构和工具选择
很久没写了，本来打算就“谢邀”，写点爬虫的内容，但似乎这块比较敏感，就不单独开篇写了，以后写其他内容或群里遇到讨论，就瞎聊两句算了。而这篇，也是源自群友一个偶然的“谢邀”（调百度接口，指定用Flask做web服务器做个展示），于是趁周日有空，瞎写一篇，顺便聊聊“架构”、“工具选择”，以及学习方向和学习成本的问题。首先，直接上作业题，给代码，然后再聊废话。作业题：调用一个免费外部接口，NLP或图像方面的都行，然后用Flask做一个服务器，语言当然是用python，把接口返回的东西展示出来。..
2021-01-24 19:09:53
317
原创 图片处理中的几个必备技巧
1、cv2.inRange() ——》hsv 用于颜色分析2、有噪音条件下提取轮廓 （1）低通滤波 （2）泛洪填充floodfill（类似魔棒） （3）开闭运算，进一步去噪 （4）二值化抓取轮廓 这是有噪音条件下提取轮廓后，分析主体的颜色构成的方法，需要注意的是，光照条件会改变颜色，例如任何颜色的光照在白色物体上，该物体就会...
2019-06-19 10:41:15
257
原创 opencv学习梗概
1、对比度增强：灰色直方图；线性变换；直方图正规化；伽马变化；全局直方图均衡化；限制对比度的自适应直方图均衡化2、图像平滑：二维离散卷积（卷积定义及矩阵形式，可分离卷积核，离散卷积的性质）； 高斯平滑（高斯卷积核的构建及分离性，高斯卷积核的二项式近似）； 均值平滑（均值卷积核的构建及分离性，快速均值...
2019-06-12 09:31:26
161
原创 opencv笔记
python3 opencv3 实现基本的人脸检测、识别功能https://www.cnblogs.com/mymickeyyang1221/p/8141717.htmlPython+OpenCV3人脸检测出现错误代码：error: (-215) !empty() in function cv::CascadeClassifier::detectMultiScalehttps://ww...
2019-06-04 01:30:18
134
原创 笔记：不定积分
概念：根据牛顿-莱布尼茨公式，许多函数的定积分的计算就可以简便地通过求不定积分来进行。这里要注意不定积分与定积分之间的关系：定积分是一个数，而不定积分是一个表达式，它们仅仅是数学上有一个计算关系。一个函数，可以存在不定积分，而不存在定积分，也可以存在定积分，而没有不定积分。连续函数，一定存在定积分和不定积分；若在有限区间[a,b]上只有有限个间断点且函数有界，则定积分存在；若有跳跃、可去、无穷...
2019-05-21 18:39:48
4667
原创 数据项目中的坚持和妥协
先看一则新闻的文本，涉及两个词“奔驰”和“道歉”名词“奔驰”的词频为：正文10次，标题1次动词“道歉”的词频为：正文1次，标题1次这则新闻的意思就是“奔驰道歉”，但这两个词的词频表现出完全不同的情况。再来看算法部分，文本挖掘算法有很多，但同一个算法，理论上是没有办法同时处理上面的例子，高词频特征和低词频特征在上面的例子中，同样重要。进一步分析：高词频在上例中体现...
2019-04-24 16:03:40
217
转载 python socket 编程：长连接、短连接以及心跳
长连接：开启一个socket连接，收发完数据后，不立刻关闭连接，可以多次收发数据包。短连接：开启一个socket连接，收发完数据后，立刻关闭连接。心跳：长连接在没有数据通信时，定时发送数据包(心跳)，以维持连接状态。在python里，其实不用做那么复杂的事情，心跳检测在TCP协议层会自动维护，python只需要调用接口设置就可以了，直接上代码：server端：#coding=...
2019-01-29 18:00:49
2047
原创 ubuntu+nginx+uwsgi+flask的安装和配置
假设ubuntu工作目录为Teamwork。假设python3.5为当前python版本。安装虚拟环境：pip install virtualenv安装uwsgi：pip install uwsgi启动虚拟环境，同时生成文件夹，并安装flaskvirtualenv ENV_Flask # 在Teamwork目录下执行，生成目录ENV_Flasksource ENV_Fla...
2019-01-29 16:11:51
1296
原创 Linux命令行模式下使用模拟浏览器
完全没装图形模式的linux，用模拟浏览器是不可能的，但是有个折中的办法就是装xvfbubuntu下面：sudo apt-get install xdg-utils xvfb x11-xkb-utils然后在python里面要装个包：xvfbwrapperpython3 -m pip install xvfbwrapperpy文件里面：from xvfbwrapper i...
2019-01-16 15:59:00
4339
转载 MongoDB 操作记录
表合并：db.small_collection.find().forEach(function(obj){ db.big_collection.insert(obj)});去重：db.userInfo.aggregate([ { $group: { _id: {userName: '$userName',age: '$age'},count: {$sum...
2018-11-21 17:43:57
3401
原创 Windows Server 2008 R2操作系统Apache2.4+Python3.6+Flask的配置
目前看Windows Server 2008 R2和Win10下配置这套系统没有区别参考链接：https://blog.csdn.net/sinat_36258232/article/details/80416613 https://blog.csdn.net/yannanxiu/article/details/70240270我的安装位置：Apa...
2018-10-15 15:01:31
1183
原创 关于爬虫的一些记录
普通的文本型爬虫就不说了，这里主要说一下在爬取有JS脚本和验证码的一些内容时，遇到的坑。操作系统的选择：由于爬虫、资讯分析AI、Web接口都部属在CentOS上，且系统部署的最优选择还是centos。爬虫方面，文本型爬虫是基础，模拟浏览器也是必须的。目前模拟浏览器就三样，Firefox、Chrome、PhantomJS，使用模拟浏览器的好处是可以轻易应付web页面内的JS脚本，并且用F...
2018-09-19 12:39:23
568
原创 Tensorflow的逻辑回归例子，详解
上一篇博文中的例子，其中有几处小小的错误，比如没有使用激活函数，导致正向传播的过程中没有消除线性化，对离散型的非线性标签数据（Y值），输出结果时没有将其概率化。另外，损失函数也有一点问题，我在测试过程中发现和预期并不一致。这里做了一些修改，并加入了b值，使逻辑回归的元素完整，取得了更好的拟合效果。逻辑回归损失函数推导过程如下：本例构造了一个三层网络，输入（2cell），隐藏（10cell），输出（...
2018-07-14 15:26:50
4309
2
转载 这是一个更完整的tensorflow前向传播和反向传播demo【转】
原文地址：https://blog.csdn.net/gaoyueace/article/details/79017532# coding:utf-8import tensorflow as tf# Numpy是一个科学计算的工具包，通过randomstate生成模拟数据集from numpy.random import RandomStatebatch_size = 8 # 神经网...
2018-07-13 12:28:31
2603
原创 用tensorflow实现正向传播和反向传播的一个小demo
用例：输入采用numpy生成一个10×5的矩阵作为X，用numpy生成一个1×5的矩阵作为系数W函数：y = W·X（点乘）代码：# coding:utf-8import tensorflow as tfimport numpy as npa = np.random.random((10, 5))matrix1 = tf.convert_to_tensor(a)c = np.ran...
2018-07-12 18:50:03
1556
原创 在tensorflow中计算矩阵相乘、点乘（内积）、卷积的方法demo
在tensorflow中计算矩阵相乘、点乘（内积）、卷积的方法demo。输入数据均使用numpy生成随机多维数组。# coding:utf-8import tensorflow as tfimport numpy as npimport time# 用numpy创建一个 10x5 矩阵# 加到默认图中.a = np.random.random((10, 5))print(a)...
2018-07-12 15:51:59
32895
转载 大数据工程师技能图谱【整理-转】
大数据通用处理平台 Spark/Flink/Hadoop分布式存储 HDFS资源调度 Yarn/Mesos数据分析/数据仓库(SQL类) Pig/Hive/kylin/Spark SQL/Spark DataFrame/Impala/Phoenix/ELK/ElasticSearch/Logstash/Kibana消息队列 Kafka(纯日志类，大吞吐量)/RocketMQ/Z...
2018-07-10 15:08:01
1843
2018新能源汽车大数据蓝皮书.zip
2019-05-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人