- 博客(34)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 妈妈再也不担心博客多地发布，typora upic 图床实践
写博客的时候经常遇到一个问题，本地typora博客在上传网上时候，写的 markdown 博客图片难以拷贝，需要一个一个手工拷贝（因为使用本地存储，依靠直接网络图片链接不靠谱），这时候就需要应用到图床大法。
2022-10-08 02:18:22
391
1
原创 go 源码工具解析-英文单复数变化 Inflection
Inflection 拐点资源Inflection20220219该库状况属性内容star381fork59famous usedgromdependencego 1.15 regexplicenceMIT功能：英文名词单数转复数，复数含义转单数结构CI 工具：werckerwercker.yml代码结构文件简单基础，所有主逻辑都在infection中，且使用方式直接在readme中说明#mermaid-svg-iAmVSRH
2022-02-20 02:22:29
597
原创 防刷逻辑小总结
前言防刷是互联网中高可用服务中需要考虑的重要一环，尤其是在有利益纠葛的，比如活动等页面，对应的后台需要根据需求有充分防刷能力。以下进行简要总结有效方案提高并发以弱化被刷的伤害后端：索引和表分区建立合适，选择合适的分布式存储组件完善监控、限流降级功能分库分表热点数据缓存网络层过载保护前鍴：静态化处理，尤其访问量比较大的首页，例如中心首页、活动首页等。每隔一定时间去更新静态文件（3分钟或者更长）。本地缓存，前鍴的部分数据缓存，降低对后台的访问量分流组件，（比如随机）一部
2022-02-11 01:51:35
927
原创 远程日志 es elastic search vs clickhouse
前言远程日志是能切实提升程序员定位问题效率的工具，目前已经有成熟的方案es elastic search，也就是elk。在实际使用的过程中，存储时间短，可能会丢少量条目消息的问题会出现，跟同事调研探讨以下解决方案。问题：远程日志定位问题，有无更多方案1.辅助以离线数仓日志统一上报，落库kafka分流处理，一道进入elk，一道通过小时级别的大数据数仓，通过hive presto 对小时落库的hdsf数据大表做二次搜索，可以极大拉长可检索时间，简易检索的速度也很快，非常方便。缺点是定位时长需要等小时级别
2022-02-11 01:28:47
2180
原创 go生僻语法学习二（接口与断言）
前言在应用go语言开发中，有一些概念其实比较少用到，这里单独提出来方便温习学习,这里强烈推荐以下书书籍资料来源：Go语言圣经（中文版）go 接口在Go语言中还存在着另外一种类型：接口类型。接口类型是一种抽象的类型。它不会暴露出它所代表的对象的内部值的结构和这个对象支持的基础操作的集合（集合含义：相同的方法实现，不同的输入类型）；它们只会表现出它们自己的方法。fmt.Printf，它会把结果写到标准输出，和fmt.Sprintf，它会把结果以字符串的形式返回。得益于使用接口，我们不必复制一份。fmt
2022-02-08 21:30:08
793
原创 go生僻语法学习一（可变参数）
前言在应用go语言开发中，有一些概念其实比较少用到，这里单独提出来方便温习学习,这里强烈推荐以下书书籍资料来源：Go语言圣经（中文版）go 可变参数参数数量可变的函数称为可变参数函数。典型的例子就是fmt.Printf和类似函数。Printf首先接收一个必备的参数，之后接收任意个数的后续参数。在声明可变参数函数时，需要在参数列表的最后一个参数类型之前加上省略符号“…”，这表示该函数会接收任意数量的该类型参数。限制：最后一个参数，类型相同（若不同可使用interface），可构建切片func s
2022-02-08 01:54:38
106
原创 1080ti 和 2080ti 深度学习显卡价值对比
如果是单玩游戏，那么2080ti最好，光线追踪，而且双卡复用需要游戏支持，所以一般只能发挥单卡性能，那自然2080ti。如果是深度学习的话，那就有的谈了，结论：纯综合算力而言1080ti,单卡算力2080ti，性价比1080ti.float16算力而言：两个1080ti不如2080ti(以两个1080ti并行算力达1.8算)float32算力而言：能并行任务两个1080ti(以两个...
2019-04-23 19:54:16
47741
4
原创 华为招聘状态码RSA解密方法
2019年4月15号时候华为还能通过这种方法查询应聘状态https://www.cnblogs.com/Mufasa/p/10291251.html结果4月17日突然将状态加密了（后面估计还会换）那该怎么办呢？细心的人会浏览对应网页所包含的js文件（毕竟前端内容可以得到）用chrome打开会发现带了以下js文件，其中绿红键头的最为关键、绿色是获取的密文json红...
2019-04-19 14:14:34
21845
1
原创 faster RCNN 快速理解
今天复习详细读了Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks，大致简单梳理下rcnn 到fast rcnn 到 faster rcnn演变：https://www.cnblogs.com/skyfsm/p/6806246.html简单说就是这一类都是在一张图中取多个候选图，...
2019-04-15 22:18:16
389
原创 数据帧，数据报，数据包相互关系包含关系的理解
这段地方究竟谁包含谁有些不太理解，所以整理了下数据帧（Frame）：是一种信息单位，它的起始点和目的点都是数据链路层。数据包（Packet）：也是一种信息单位，它的起始和目的地是网络层。数据报（Datagram）：通常是指起始点和目的地都使用无连接网络服务的的网络层的信息单元。段（Segment）：通常是指起始点和目的地都是传输层的信息单元。消息（message）：是指起始点和目的地都在网络层...
2019-04-11 16:46:20
4164
1
原创 Ray强化学习分布式框架及RLlib
最近阅读了Ray: A Distributed Framework for Emerging AI Applications RLlib: Abstractions for Distributed Reinforcement Learning 两篇文章，然而发现对应的博客解读还是比较少，所以简单总结下这两篇文章。首先这是一个开源项目，相关的文档已经可以轻松在网上获得。分布式框架...
2019-04-09 11:39:38
8149
1
原创 大数据零基础入门学习 topk与词频统计
词频统计与取前k内容 比如百度搜索如何取前k条符合的内容呢，最基础的方法是先算出每个内容的匹配值然后取前k位。词频类似，统计词对应频率然后取前k位 Topk 求取算法TopK Elements 问题用于找出一组数中最大的 K 个的数。此外还有一种叫 Kth Element 问题，用于找出一组数中第 K 大的数。其实要求解 TopK Elements，可以先求解 ...
2019-02-22 15:05:39
570
原创 大数据零基础入门学习 最原始基础的解决算法
在解决问题之前，要先计算一下海量数据需要占多大的容量。常见的单位换算如下：估算是做大数据架构必须会的手段。 机器问题基本解法： 如果数据量很大，无法放在一台机器上，就将数据拆分到多台机器上。这种方式可以让多台机器一起合作，从而使得问题的求解更加快速。但是也会导致系统更加复杂，而且需要考虑系统故障等问题； 内存问题基本解法：如果在程序运行时无法直接加载一个大文件...
2019-02-21 22:29:13
319
原创 强化学习-APEX-分布式优先经验回放DISTRIBUTED PRIORITIZED EXPERIENCE REPLAY-强化replaymemory方法
这是一篇论文，https://arxiv.org/abs/1803.00933其概念主要是对传统DQN ,DDPG使用分布式actor获取replay memory数据并进行优先经验回放方法，从而使强化学习网络训练得更有效率（现在强化学习NN训练难度确实很高，效率低，所以要尽可能提升效率，所以这篇文章还是有帮助的），作者主要以atari训练实验来证明其方法的优越性。（毕竟并行化获取经验）主...
2018-11-19 19:51:54
6946
2
原创 pycharm应用git及github以及git工具的学习和理解
之前一直没认真对github进行了解，只当成下载和上传代码的工具使用，最近认真过了一遍git 的知识，感觉功能使用起来方便了不少，更能掌握真正的github应用姿势。git 就是个分布式版本管理工具，github就是提供git存放及交流服务的平台，应用pycharm这款强大的ide也可以在配置后直接图形化使用。具体的配置方法感觉多篇博客这篇最简洁易懂https://www.cnblogs.co...
2018-10-25 17:53:13
303
原创 安装Airsim并在Airsim仿真环境下进行DDPG DQN强化学习算法无人机训练
微软开源了基于虚幻4引擎的一款用于模拟无人机飞行的工具AirSim。用户可以用在虚幻引擎下模拟无人机的飞行并进行数据采集。非常适合做视觉算法的测试以及仿真环境的训练等等，下面介绍如何快速使用次仿真环境完成project的运行和使用。首先是要虚幻4引擎和airsim的安装，两篇讲得比较好的https://blog.csdn.net/Michael_Bzw/article/details/80...
2018-10-10 15:44:22
13697
10
原创 策略梯度学习整合与理解
强化学习是一个通过奖惩来学习正确行为的机制. 家族中有很多种不一样的成员, 有学习奖惩值, 根据自己认为的高价值选行为, 比如 Q learning, Deep Q Network（value based）, 也有不通过分析奖励值, 直接输出行为的方法, Policy Gradients （policy based）. 甚至我们可以为 Policy Gradients 加上一个神经网络来输出预测的...
2018-10-09 13:13:11
3796
2
原创 Learning Transferable UAV for Forest Visual Perception 的理解（一）
这篇文章本质上就是结合了两篇文章，一篇Learning Transferable Features with Deep Adaptation Networks（有关卷积网络与迁移学习的），通过使用多核最大均值差异成为正则化项从而在有监督样本和无监督样本间实现迁移学习，达到无监督样本分类准确率提升。一篇A Machine Learning Approach to Visual Percept...
2018-09-10 19:06:25
539
原创 netbeanJDBC连接mysql8.0.12数据库方法
首先需要在官网上下载最新的mysql server 以及对应的jdbc驱动文件（如果不用对应的驱动文件可能会无法连接）,https://www.cnblogs.com/kawask/p/9171966.html可以按照以上超链接设置密码，注意下面这段：（否则jdbc连接会有问题）在MySQL 8.04前，执行：SET PASSWORD=PASSWORD('[新密码]');但是MyS...
2018-08-02 22:51:16
3568
原创 Python 函数两括号()() ()(X)的语法含义
在写吴恩达《深度学习》课程编程题时，见到这样的用法：def model(input_shape): # Define the input placeholder as a tensor with shape input_shape. Think of this as your input image! X_input = Input(input_shape) # Z...
2018-07-30 21:11:20
11365
12
原创 关于IPsec的理解看法
IPSec主要关注的是在IP层既执行加密（ESP）认证（AH），并执行安全密钥交换（IKE,其中又用了diffe-hellman 密钥交换算法），主要目的就是在包的基础上就执行安全策略进行保护及认证。同时提供了传输模式（transport mode）以及管道模式(tunnel mode)，管道模式目的是支持由防火墙之类的中间网关进行ESP封装加密，这样不仅两端能对ip包加密也可以在传输中间...
2018-07-21 23:45:10
2965
原创 RSA--最基本非对称加密算法理解
RSA (Rivest–Shamir–Adleman人名取的) 加密算法是一种经典且简单的非对称加密算法源自书上的超好理解小例题实际应用取的数不会这么小。因为因式分解的困难，纵使知道公钥e和n，很难分解出p和q,从而难以获得私钥d。...
2018-07-20 23:55:26
490
原创 Ipad IOS 蓝牙键盘快捷键
ipad（ios11）连上蓝牙键盘后如何更好地使用键盘。（用的是罗技ik1041蓝牙键盘，本身支持ios）首先是本身就有的上面一排快捷键其中切换语言因为版本原因要用 Ctrl+空格选择文本操作要用 单字： Shift+左右箭头 多字 Fn+左右箭头cmd+tab 可以快速切换打开程序cmd有很多功能，长按cmd后会出现具体跟什么按键配合有什么功能，而且在不同的a...
2018-07-17 21:34:17
30935
原创 Ipad 连笔记本共享360wifi热点 总是断开 解决方法
朋友近来借我ipadpro10.5玩玩，玩的时候发现在有些笔记本上开了共享wifi软件（360，猎豹），每隔几分钟就会断掉，非常不爽，必须自己断掉wifi再重连，几分钟后又断了。上网找了些办法，其中着重试了这个方法。改了协议，关了Qos，找不到WMM所以忽视，但依然没什么用。https://bbs.feng.com/forum.php?mod=viewthread&tid=7270736&...
2018-05-14 21:28:33
5237
1
原创 菜鸟尝试超简单三层神经网络回归分析失败
纯菜鸟，尝试使用三层神经网络预测房价，既是三层神经网络回归，使用的是Kaggle练习赛里的问题，效果很差。 首先使用Pandas进行数据处理，为了效果不受数据偏差影响修正数据分布为正态分布，高相关特征间取重要去除另一个，离散型转one_hot编码，全格式转float，归一化处理。 神经网络有283个输入变量，隐层使用10个单元，隐层激活函数使用sigmoid函数，输出层只有一个单元，为了达到回归效...
2018-03-24 21:27:48
2406
原创 wifi物理层数据链路层的直观理解
大致学习了wifi的原理，这里打算用尽量简单的语言描述一下我对wifi的理解。 1 wifi信号调制Wifi用的是无线信号，通过电磁波在周围传播，他一般是使用大名鼎鼎的802.11系列标准的技术，这标准对网络中物理层，数据链路层（部分）做了详细的规定，第三层之上跟以太网，一模一样，这一点可以通过Wireshark抓包软件用笔记本电脑分别连无线和有线访问同样网站，并观察对应包就可以直观的理解，当然，...
2018-03-24 18:35:50
12119
原创 基础级拆机-神舟战神GX8CP5s1上8700发现较为鸡肋-仿CP7s2
2018年初时决定割肉入手一台新机，先考虑自己组装台式机，但台式机不好携带，放假不方便带回家，也不能方便地根据需要灵活地放在实验室或者宿舍，兄弟推荐了准系统，看了半天性价比虽然很好但问了半天客服对过热问题驱动问题回答得很含糊，不敢入手发现神舟战神CP5s1是看中的准系统是同一型号蓝天PM775的模具,拥有类似的价格和同样高的性价比。一些淘宝店如昆山工厂店（貌似不错，广告一波）感觉回答很清晰及时，想...
2018-03-18 02:48:39
33154
3
原创 Kaggle房价预测-Lasso线性规划代入学习
https://www.kaggle.com/apapiu/regularized-linear-models本次学习的是这个房价预测一个高赞的kernel，使用了线性规划得到了类似Xgboost模型的效果(同样给了Xgboost的方法，并说神经网络的效果不是特别好)，并给出了详细的步骤，具体的代码可以打开网站学习，这里简要记叙一下所应用方法的思路。 可阅读xgboost 算法原理 来自 <...
2018-03-12 22:21:35
1770
原创 Kaggle房价预测数据观察和处理入门学习
https://www.kaggle.com/pmarcelino/comprehensive-data-exploration-with-python COMPREHENSIVE DATA EXPLORATION WITH PYTHON来自于Kaggle本房价预测比赛最高赞的kernel,介绍富有代码，简单生动，可以作为数据预处理的学习入门体会读物，并仿照代码来一通。 Pedro的大致过程如下...
2018-03-12 16:37:37
2824
原创 机器学习实战笔记 k 近邻算法 函数解析
from numpy import *import operatorimport numpy as npdef createDataSet(): group = np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels = ['A','A','B','B'] return group, labelsdef clas
2017-09-25 18:42:34
318
转载 先验概率与后验概率的区别
先验概率与后验概率的区别（老迷惑了）http://blog.sina.com.cn/s/blog_4ce95d300100fwz3.html 此为Bayesian先生，敬仰吧，同志们！ 先验（A priori；又译：先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。它通常与后
2017-09-25 16:59:50
303
转载 获取python路径
怎样在cmd（命令提示符）下进行复制粘贴操作https://jingyan.baidu.com/article/93f9803fd3a4dde0e46f55f5.html获取python路径C:\Users\卢雨辰>pythonPython 3.6.2 (v3.6.2:5fd33b5, Jul 8 2017, 04:57:36)
2017-09-25 16:15:28
2470
加密及网络安全应用与实践英文原著
2018-07-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人