关闭
当前搜索:

达克效应

定义 现象 你为什么能这么盲目自信 眼界 到底谁是猪队友 如何避免达克效应 认识自己 看到别人的优点 总结最近偶然得知一个新名词,然后就查了一下资料。结果却让人出乎意料。至少对我如此。定义 达克效应(D-K effect),全称为邓宁-克鲁格效应(Dunning-Kruger effect)。它是一种认知偏差现象,指的是能力欠缺的人在自己欠考虑的决定的基础上得出错误结论,但是无法正确认识到自身的...
阅读(6813) 评论(2)

知乎用户分布研究

前言 框架搭建 模块化 爬虫 数据库 调度器 web服务 TODO 总结前言虽然知乎早已不是最开始的样子了,但是其用户还是很广泛的。我原本打算做的写个爬虫,把用户的居住地,学历,专业等信息爬下来。然后持久化到数据库中,最后写个web服务,用图标的形式展示出来。但是echarts地图这块,最终没能正确显示出来。尽管做了调试,效果还是不甚理想。汗颜(⊙﹏⊙)b框架搭建正如前言部分所述,这里用到的技术还是...
阅读(7641) 评论(6)

爬取微博用户数据

前言 查找的过程 核心 总结前言微博数据基本上可以说是社交圈里面最大的了。但是单纯的使用urllib,是不足以获取数据的。今天来使用Cookie的方式绕开微博权限验证这一关卡, 爬取一下数据。查找的过程打开Chrome 的F12之后,刷新页面,真的是眼花缭乱的数据流啊,飞流直下。找了好久,发现大部分数据都是通过JavaScript脚本渲染到页面上的。这也就是为什么单纯的使用urllib抓不到的原因了...
阅读(6514) 评论(1)

读《卓越程序员密码》有感

引言 比喻篇 谨慎使用比喻 规划完备然后开工 象牙塔架构师的传说 扔掉旧代码 多元化胜于专业化 动力篇 工作即福利 从喜欢处下手 莫求全 休息 膨胀的时间 生产力篇 设置一个最后期限 去掉时间表中的细节 个人事项待办清单 提高生产力避谈我们 后序断章取义一下,“生活不止眼前的代码, 还有诗和远方”。下面是我的部分读书笔记。引言原书作者谈到自己有两次被代码“逼疯”的经历,追根溯源,还是一开始对于编程的...
阅读(5706) 评论(1)

“社交网络”分析

前言 环境 virtualenv 第三方库 模块化 爬虫模块 关于模拟登陆 爬取数据 图形化 步骤 中文节点问题 实战 总结前言最近国产的一部电视剧《人民的名义》突然的就火了,随之而来的是各大Coder们的社交网络分析。针对剧本中出现的人名,事件,词频等以图形化的界面展示,清晰化的显示出了剧本的特色。而对于CSDN的关注人和粉丝的图形化展示,也恰好符合这一个主题(暂且这么认为吧)。本来想做的是公共粉...
阅读(7889) 评论(6)

关于站内搜索的那些事儿

前言 模块化 登录模块 博客扫描模块 博客详情模块 搜索模块 演示 案例一 案例二 总结前言之前学过一点点关于全文检索相关的技术,当时使用的是Java语言,Lucene和compass框架。有兴趣的话可以参考下面的专栏链接 http://blog.csdn.net/column/details/lucene-compass.html然后现在用的是Python了,所以需要迭代一下。网上搜索了下,相关...
阅读(8437) 评论(9)

语音聊天

前言 环境 本机环境 所需包 各大模块 百度语音接口 图灵机器人接口 音频处理 本地朗读模块 GUI 模块 演示 文本 语音 总结前言这几天看了点PyQt相关的知识,感觉可以结合之前得一些内容做出点什么好玩的东西。之前做过文本转语音的聊天机器人,昨天又恰好做了关于音频处理的。借此机会,整合一下,来做个有界面的语音文本聊天机器人好了。先来看看最终的效果图。 对这些基础内容不是很了解的可以参考我之前的...
阅读(8499) 评论(5)

处理音频--pyaudio

前言 安装 读写音频文件 play record wired playcallback Wirecallback 外部应用 总结前言很久之前写过一个将文本转成语音的,借助了一个名为pyttsx的库。具体使用可以参考下面的链接。http://blog.csdn.net/marksinoberg/article/details/52137547今天再来分享一个处理音频的博文。接住百度的语音接口,差不多可...
阅读(10449) 评论(1)

给自己看的Redis

前言 安装 服务器 本地 配置相关 远程连接 修改密码 登录 远程连接 无密码 无密码 密码不正确 密码类型不对 密码登录 总结前言昨天又收到一条来自阿里云安全方面的短信,说是服务器存在对外DDoS攻击,很明显又被人攻击了。还很有可能被拿到了管理员权限。没办法,为了以防万一,被别人利用,发布一些不良信息。我就关停了服务器,并且重置了一下整块磁盘。虽然需要安装很多自己平时用的东西,但是从另外的角度来看...
阅读(5810) 评论(1)

Nginx 从零搭建

前言 准备篇 搭建篇 安装虚拟机 安装Nginx pcre安装 zlib安装 openssl安装 安装Nginx 安装Apache 配置 验证篇 Nginx ServerA ServerB Nginx配置之后 总结前言“觊觎”Nginx其实已经很久了,但是之前一直忙着准备找实习啊,各种考试啊什么的,也没有时间。恰好最近空了出来,就浅浅的学了一点关于Nginx的知识,顺便搭建了一个模拟的负载均衡,反向...
阅读(6056) 评论(0)

CSDN 博客备份工具

前言 核心 登录模块 备份模块 博文扫描模块 演示 如何使用 效果 总结前言近段时间以来,听群友博友都在谈论着一件事:“CSDN博客怎么没有备份功能啊?”。这其实也在一定程度上表征着大家对于文章这种知识性产品的重视度越来越高,也对于数据的安全提高了重视。所以我就尝试着写了这么一个工具。专门用来备份CSDN博友的博客。 核心说起来是核心,其实也就那么回事吧。严格来说也就是一对代码,不能称之为核心啦。...
阅读(9303) 评论(15)

抓取网易云音乐歌曲热门评论生成词云

前言 抓数据 抓包分析 加密信息处理 抓取热门评论内容 词云 词云运行效果 总结前言网易云音乐一直是我向往的“神坛“,听音乐看到走心的评论的那一刻,高山流水。于是今天来抓取一下歌曲的热门评论。并做成词云来展示,看看相对于这首歌最让人有感受的评论内容是什么。做成词云的好处就是直观以及美观, 其他的我也想不出来有什么了。抓数据要想做成词云,首先得有数据才行。于是需要一点点的爬虫技巧。 抓包分析 加密信息...
阅读(26080) 评论(25)

pymongo 存取

前言 准备 简单操作 数据库连接 增insert 插入单条记录 插入多条记录 改 update 方式一 方式二 删 remove 查 find 查询所有 查询 某个符合要求的字段 查询限制条数 查询某几个字段的值 查询集合内共有多少条记录 对查询结果排序输出 模糊查询 存在性查询 in 查询 not in 查询 实战 爬取模块 存储模块 总管模块 运行效果 总结前言4个多月之前,写过一篇关于非关系型...
阅读(10090) 评论(3)

Tkinter小结 界面+快捷键设置

前言 基础知识点 前导篇 Button篇 Label篇 Entry篇 其他控件 事件篇 小应用 总结前言之前写过一个关于Python 使用easyUI创建桌面小应用的博客,虽然easyUI很实用,但是安装方面确实存在一些小小的问题。那么好吧,这次就尝试着使用自带的Tkinter好了。另外不得不说的是,Windows环境下写界面还是用C++或者C#的好,天生自带优势,界面也更加美观。基础知识点下面就一...
阅读(7844) 评论(1)

Java 程序员 面试前必备知识

前言 正文 自我介绍 数据结构和算法 Java篇 Java EE知识点储备 计算机网络 操作系统 数据库相关 XML 常识性知识 总结 前言准备了接近两个月的面试笔试,现在终于是可以休息下了。真真是应了那句老话“台上十分钟, 台下十年功。”。人嘛,越努力,才会越幸运。机会总是留给有准备的人的。下面分享一下我的Java实习生准备所看过的材料,(虽然至今还有些依然看不懂地方。) 希望对这方面的同学有点...
阅读(11995) 评论(12)

半自动化生成README.md文件

前言 实现 获取指定路径下所有文件的全路径 获取文件描述信息 生成readme 效果 总结前言最近一直在准备面试啊笔试啊什么的,写着写着代码就很多了。又不能每一个代码都写成博客,要不然质量也没法保证。于是想着在GitHub上建一个repository好了。整理进去,也保证了代码的安全性,万一以后要复习了也很方便。但是面临的一个问题就是“懒”,面对看起来蛮多的文档,一个一个的写标签似乎不是合适的选择,...
阅读(6279) 评论(0)

记 dotamax 面试第一题

前言 正文 思路 存在一个数字 存在两个数字 总结前言今天接到了一个面试,面试官鑫哥声音很好听,人也很好,是我目前见到的所有面试官中最好的一位啦。可能还是知识面比较窄,第一个问题就把我给问倒了。一是太紧张,二是本身能力可能也没那么强,所以第一题没能想出来。面试完后,心里还是坠着一个石头似得,就一个想法,把这个问题搞明白,实现了。于是下午,着手实现了一下,在此做个笔记,希望对后来人能有所帮助。正文这道...
阅读(6244) 评论(0)

2017 携程 笔试编程题 1

前言 正文 题目要求 思路 n10 n 18 核心 测试 总结前言今天参加了携程的笔试,编程题第一题一开始想错了方向,花费了很多时间(虽然第二题就是给时间也不一定做得出来,(⊙﹏⊙)b)。下面记录一下这个小插曲。正文题目要求将指定的正整数n分解成若干个互不相同的自然数的和,且使这些自然数的乘积最大人家给了个输入输出的例子,如下:输入15输出 144言下之意就是在自然数之和为15的这些数字中,乘积最...
阅读(6748) 评论(2)

当模拟登陆遇到验证码

前言 环境 实施 简易示例 实战校园图书馆登录 效果演示 总结前言这两天在看相关于模拟登录的案例,不可避免的遇到了一些验证码相关的问题,在此之前一直使用的是将验证码下载到本地,然后人工肉眼识别的方式。但是效果可想而知,精确度倒是还可以,然而却变得不是很智能了。于是今天来学习一下如何自动识别验证码。环境我的实验环境为: Python3.6 Pycharm2016.2 Professional Tess...
阅读(8264) 评论(2)

Python 模拟登录知乎

前言 必备知识点 headers Referer User-Agent 隐藏域 其他 模拟登录 模拟防爬 服务器端 loginphp loginhtml 浏览器测试 正常提交用户名密码的话如下 用户名或者密码填写错误的情况如下 爬虫没有添加隐藏域时 添加了隐藏域的爬虫 知乎模拟登录 更新版知乎模拟登陆 代码部分 验证效果 总结前言前天看到一个爬取了知乎50多万评论的帖子, 羡慕的同时也想自己来尝试一...
阅读(10834) 评论(46)
401条 共21页首页 上一页 1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:3235387次
    • 积分:34853
    • 等级:
    • 排名:第149名
    • 原创:357篇
    • 转载:35篇
    • 译文:9篇
    • 评论:733条
    友情链接
    我的偶像
    个人主页
      GitHub
    放松一下
    博客专栏
    最新评论
    版权信息
    去除本页广告
    图片炸弹装填中...

        
    [img=赞一个]http://bpic.588ku.com/element_origin_min_pic/16/12/12/0d96da96cf36505736c09d63832eaac8.jpg[/img]