- 博客(57)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 ChatGPT研究分析：GPT-4做了什么
上一版ChatGPT的主要挑战是，因为模型的训练量极大，很难去进行优化（ChatGPT是fine-tuning的模式）。然后再基于采样值，测算一下幂等函数的相关参数，下一轮就可以只进行少量训练，就去预测最终效果了。至于其他效果上的优化，OpenAI没有进一步解读原理，但整体应该还是基于“训练-奖励”的优化模型，去生成更针对性的奖励模型（比如增加法律、安全之类的奖励判断），以实现更优的效果。从结果来看，ChatGPT实现了，仅仅执行千分之一到万分之一的训练量，就可以大致预测模型的结果。
2023-03-15 21:09:40
4688
9
原创 ChatGPT研究分享：机器第一次开始理解人类世界
在AIGC年爆火之后，设计从业人员就开始担忧起自己的工作。同样，ChatGPT可预见的也会对很多行业带来冲击，比如教育。AI是否会最终取代人类的话题，似乎也从“遥不可及”，变得“忧心忡忡”。我认为，AI一定会取代部分人，但不会取代所有人，也不会凌驾于人类之上。正如工业时代的到来，取代了体力工作者；AI时代的到来，也会取代脑力工作者。而所谓的“专业”能力，往往会在这个浪潮下，被快速取代。（想想当年的“八级技工”，技术再厉害，也比不过新的机器。
2023-03-14 12:35:35
2433
9
原创 关于“对抗样本攻击”的思考
什么是“对抗样本攻击”各类图片攻击介绍白盒、黑盒为什么会存在“对抗样本攻击”因为样本空间是非常巨大的，尤其随着维度的增加，指数级增长。这种情况下，实际所能够使用的训练样本，远低于样本空间。这就类似于说，我告诉你1是好人，10是坏人，请确定大于多少是好人。而机器学习只能利用各种概率分布，去划定一个边界，可能是5。但事实上，4是不是坏人，6是不是好人，却并没有人能够告诉机器学习。而攻击者恰恰可以利用这个知识盲区，对机器学习发起攻击。在风控领域中，是否存在“对抗样本攻击”事实上，一直存在，黑产去压阈值
2021-02-13 16:19:07
1144
1
原创 安全模型和业务安全体系
网络安全和业务安全网络安全中，攻击者往往通过技术手段，以非正常的技术（XSS、Injection、Penestrating等），影响业务正常运行，窃取敏感数据。比如：某黑客通过SSRF进入内网，并在内网横向扩张，最终脱库成功。业务安全中，黑灰产基于非正常的资源（IP、手机号、身份信息等），通过正常的产品流程，获取利益，影响业务正常运营。比如：黑灰产通过大量手机号注册新号，获取企业新户奖励，最终...
2020-02-19 16:57:31
8678
1
翻译 检测Chrome headless的技巧
原文链接：https://antoinevastel.com/bot%20detection/2018/01/17/detect-chrome-headless-v2.html更新：我创建了一个库，可以通过浏览器指纹来检测脚本和爬虫。这个库仍然在开发过程中，不过你可以开始尝试使用了。代码已经在Github上了，目前，我在测试一个新的检测方法，欢迎来进行挑战，并给出反馈。之前我写了一个博...
2019-09-19 16:50:42
2388
原创 CentOS 6和CentOS 7的磁盘空间清理
收集整理了一些在CentOS 6或者CentOS 7服务器中，快速清理磁盘空间的方法：首先，必须先安装yum-utils工具组件：yum -y install yum-utils1. 删除日志文件find /var -name "*.log" \( \( -size +50M -mtime +7 \) -o -mtime +30 \) -exec truncate {} --size 0 ...
2019-09-19 11:32:18
2914
原创 安全领域中如何有效的使用机器学习
今天看到Gartner分析师Augusoto Barros的一个博文，感觉深有同感，借着讨论下我对于机器学习与安全结合的一些想法。下面是翻译的原文：想要了解乙方安全厂商是如何利用机器学习来进行威胁检测，有一个非常重要的观点必须了解。一般来说，机器学习是用来区分已知的行为，但是会存在可变的参数。什么意思呢？也就是说，大多数情况下，我们知道恶意行为是什么，但不知道它具体是一个什么样的形式。举个...
2019-03-01 19:16:30
1367
翻译 设计模式：Service Mesh
自动数十年前，分布式系统的概念诞生以来，工程师们越来越明白，利用分布式系统可以完成许多意想不到的功能。但是，分布式系统同样带来了许多新的问题。当分布式系统还未普及，相对比较简单的时候，工程师们通过最小化远程依赖来应对其带来的复杂度。解决分布式问题最简单的方式就是尽可能的避免它，即时会带来大量跨系统的重复逻辑和数据也在所不惜。但是工业化的进程推动着我们不断进步：从前只是几个大型的中央服务器，到现在成百
2018-02-09 16:16:50
1254
1
原创 MySQL优化浅析
场景简介最近在使用Storm做日志的分析处理。众所周知，Storm是流式的处理框架，也就是每次只能处理和看到一条日志。然而做分析的时候，不可避免的要进行一些统计操作，如统计一分钟内某个ip的访问频率或者某个uid的访问频率等。于是我就会在内存中（也就是某些特定的Bolt中），维护一个HashMap队列，用来存储之前一段时间的日志列表。这个做法在日志量较小，且统计时间较小的情况下是没有任何问题的。然而
2017-08-23 11:33:18
408
原创 CentOS 5下yum运行失败
公司服务器是CentOS 5的，最近在使用yum安装软件的时候报出了一下的异常Loaded plugins: fastestmirror, securityLoading mirror speeds from cached hostfileYumRepo Error: All mirror URLs are not using ftp, http[s] or file. Eg. Invalid
2017-07-22 15:18:19
2752
翻译 关于Neo4j和Cypher批量更新和批量插入优化的5个建议
当通过程序向图形化数据库中写入大量数据的时候，你会希望它能够高效的处理。低效的方式下面这些方式不是十分有效： - 将值直接写入到语句中，而不是通过参数的方式 - 每一个更新都通过一个Transaction发送一个请求 - 通过一个Transaction发送大量的单个请求 - 生成一个巨大复杂的语句（几百行），然后通过一个Transaction进行提交 - 在一个Transaction中，发
2017-03-09 17:06:40
27546
4
翻译 Neo4j数据建模优化：双向关系
我们通常会将现实生活中的关系型数据，通过一定的方式，转化为图形化的结构存储起来。尽管图形化的结构相比于表结构更加直观，但也存在一些常见的误区。在这篇博文中，我们来讨论其中的一个容易让人混淆的概念：双向关系。单向关系在Neo4j中，所有的关系都必须有一个类型来进行区分，同时，也必须有一个方向。通常来说，关系的方向同样会包含一些信息。换句话来说，如果没有方向，一些关系的意义就会变得模糊。打个比方，下面的
2017-01-18 16:52:50
9591
1
翻译 Neo4j数据建模优化：标签 VS 索引
原文链接：http://graphaware.com/neo4j/2015/01/16/neo4j-graph-model-design-labels-versus-indexed-properties.html 在设计Neoj图形化数据库的时候，一个通常的问题是：如何处理带标记的数据。比如，标记用户是否活跃，标记博客是否发布，标记文章是否被阅读等。介绍在SQL中，通常会创建一个boolean
2017-01-17 17:16:12
6299
6
翻译 无痕渗透“INSERT INTO”型SQL注入
原文链接：http://www.mathyvanhoef.com/2011/10/exploiting-insert-into-sql-injections.html在某个寂静的深夜，你徘徊在一个网站中，其中包含一个可提交form，需要你输入一个昵称。你输入了一个单引号作为你的昵称，网站返回了一条异常信息：“You have an error in your SQL syntax”。机智的你很快明
2016-12-30 12:46:06
20299
1
翻译 HashMap、ConcurrentHashMap和SynchronizedMap – 哈希表在Java中的同步处理
原文链接：http://crunchify.com/hashmap-vs-concurrenthashmap-vs-synchronizedmap-how-a-hashmap-can-be-synchronized-in-java/在Java中，HashMap是一个非常有用的数据结构。几乎每一个Java应用都会使用到它。我之前的博文中有介绍过如何实现一个线程安全的缓存，在这个例子中，我就使用到了H
2016-05-19 16:10:25
12571
原创 Github的高阶命令集合
因为日常使用github经常会上stackoverflow搜索一些命令的使用，为了方便自己查询，在此总结出来。持续更新。。。在commit之前查看修改的内容 来源：http://stackoverflow.com/questions/4456532/how-can-i-see-what-has-changed-in-a-file-before-committing-to-git在commit之
2016-05-12 10:57:16
714
翻译 Android中基于RxJava的响应式编程
原文链接： https://www.ykode.com/2015/02/20/android-frp-rxjava-retrolambda.html在你的Android应用中，每一个UI控件都在不停的产生事件。而你所写的代码也正是用来处理这些事件的，例如用户点击按钮或者一个从后端返回的一个REST响应。通常情况下，我们会通过对应的事件Listener来捕获并处理这些事件，例如OnClickList
2016-04-29 14:53:11
6139
翻译 使用High Level Consumer连接Kafka
使用High Level Consumer连接Kafka。简述了java中High Level Consumer的原理，技巧和使用方法，示例完整，结构清晰。
2016-04-11 15:16:06
4095
原创 kaka-manager和kafka-offset-monitor的安装和使用
由于kafka本身不提供ui操作界面，操作起来只提供了有限的几个脚本，所以使用起来对其本身的运行状态无法感知。但是，kafka本身是和zookeeper相连的，而对应producer和consumer的状态保存也都是通过zookeeper完成的，因此，可以通过读取zookeeper中的信息来构建出kafka的状态。另外，kafka本身也提供了一个JMX服务端口，来供外界查询当前的状态。这样一个明显的
2016-03-25 18:10:37
10832
4
原创 KivyMD安装详解以及可能遇到的坑
项目地址：https://github.com/captainbupt/KivyMdDemo 项目简介：这是一个试用KivyMD写的demo。应老板需求，必须使用纯python代码完成，因此demo中不包含任何kivy language展示界面。Kivy是一个基于python的跨平台应用开发框架。它同时支持Linux, Windows, OS X, Android和iOS，并且能够识别大部分
2016-03-09 13:45:49
4947
原创 分布式日志分析系统构建实战（四）——Storm
介绍Storm是一个实时并行计算系统。对比与经典的hadoop，storm的优势就在于实时性。简单来说，hadoop可以用来对海量的数据进行批量的处理，但这些数据是静态的，处理过程中不会对新产生的数据进行处理。当处理完之后，hadoop进程就可以结束，并输出最终结果。而storm的进程会持续的运行，不存在一个终结状态。一旦有新的数据到来，storm就出对其进行处理，然后继续等待其他的数据。而我们可以
2016-02-15 18:29:50
3591
原创 分布式日志分析系统构建实战（三）——Kafka
介绍生产者-消费者模型是系统架构中最常用的一种模型了，它在对于降低耦合度方面有着极大的作用。而一条消息从生产者出发到被消费者接受的过程中，是由消息队列来管理的。而消息队列就是用来对消息进行存储和分配，在多个生产者和消费者同时工作时，还要考虑读写冲突等线程安全问题。所以说，消息队列对于生产者-消费者模型的稳定性和可靠性方面起着至关重要的作用。对于这样一种经典的模型，消息队列的开源框架自然不在少数，例如
2016-02-05 15:10:17
4337
原创 分布式日志分析系统构建实战（二）——ZooKeeper
在由kafka+storm搭建起来的日志分析系统中，ZooKeeper属于中流砥柱的作用。因此，在这里，先从实践的角度来介绍一下ZooKeeper以及相关的配置问题。介绍简而言之，ZooKeeper是用来为分布式系统提供一个统一的配置信息管理平台。在分布式系统的各个机器之间，都会有一些关键的节点信息需要暴露给其他机器，这样才能达到协作的效果。而使每个机器获取到相同的信息，这就是ZooKeeper的作
2016-02-02 12:08:44
1377
原创 分布式日志分析系统构建实战（一）——概述
日志分析日志分析是每个互联网公司业务流中不可缺少的一部分，从海量数据中，可以分析用户的行为，从而运用到智能预测或者异常检测当中去。相比与传统的大数据分析（如用户物品评分预测），日志分析具有这么几个特征：数据是动态的。传统的大数据分析，往往是基于已有的数据去进行处理，这些数据都是固定不变的。而对于日志分析，只要产品还在运营，日志就会源源不断的产生，很难去规定一个节点去进行静态的处理分析。因此，以ha
2016-02-01 17:45:07
5722
原创 git修复commit记录
最近使用git的时候，由于在开始的时候，没有恰当的设置user.name和user.email变量，导致push到git的commit记录无法被正确匹配到我的账户。由于发现的比较完，几十条commit记录都给白费了，看这contributes板上大片的空白，还是相当的不甘心的。不过还好，git官方给出了弥补措施。#!/bin/shgit filter-branch --env-fi
2016-01-28 12:15:24
28923
2
原创 pwnable.kr解题write up —— Toddler's Bottle（二）
网站地址：pwnable.kr 提供许多优质的ctf训练题，题目设计的都非常巧妙，适合思考。
2016-01-21 15:12:12
4437
原创 pwnable.kr解题write up —— Toddler's Bottle（一）
网站地址：pwnable.kr提供许多优质的ctf训练题，题目设计的都非常巧妙，适合思考。
2016-01-18 15:43:02
6560
原创 securityoverridehacking challenge 解题思路汇总——Realistic
进行了之前的各项练习之后，今天终于做到实战演练（Realistic）部分了。和前面相比，这部分最大的难度就在于，你并不知道攻击点在哪，攻击类型是什么。因此，必须从一个完整的网页中去一点点的寻找。当然，整个过程还是有一定的套路，以及常见可供入手的点。而在这部分训练中，都很好的模拟了出来。相信这对于实战的过程能够有很大的帮助。1 Realistic1.1 Realistic这题琢磨了
2015-10-26 10:48:01
854
1
原创 securityoverridehacking challenge 解题思路汇总——Programming
上一部分在steganography遇到了困难，直接跳过。于是就进入最拿手的programming部分了。这部分我是用python完成的，并且通过直接写入剪切板来提高提交速度。除了captcha的解析，其他基本都没什么难度。在这里我也不过多解释了，直接上代码，也没啥注释。6 Programming6.1 Basic String Manipulationimport sys,gtk
2015-10-02 11:58:09
546
原创 UltraPullToRefreshWithLoadMore （为UltraPullToRefresh添加上拉加载更多功能）
下拉刷新和上拉加载应该是当前手机应用中最普遍的一个操作了Android本身提供了一个下拉刷新库，在support-v4包中的SwipeRefreshLayout。但是这个库支持的效果比较单一，只能实现列表不动，刷新头部下拉滑出的效果。并且也没能提供上拉加载的功能。在项目初期的时候，也是因为调研不足，选择了比较经典的PullToRefresh库。然而这个库已经停止更新了，对新的控件（如Recycler
2015-09-26 10:31:26
8176
18
原创 securityoverridehacking challenge 解题思路汇总——Steganography
上一部分我们模拟了如何通过wireshark获取有用信息（securityoverridehackingchallenge 解题思路汇总——Forensics）。今天的题目是steganography，所谓steganography，基本上就是要你在文件中寻找隐藏的信息。所谓隐藏的信息，又和数字水印不同，通常情况下是通过各种文件格式，压缩方法，或者不可见位置来使得目标信息不能直观的被找到，属于CT
2015-09-26 02:32:49
555
原创 securityoverridehacking challenge 解题思路汇总——Forensics
上一部分我们完成了加解密方面的任务（securityoverridehackingchallenge解题思路汇总——Decryption）。下一个部分应当是权限提升的，不过在这个过程中遇到了一些问题。发帖问了之后也说这部分有bug，因此一直没能成功，所以就暂时跳过了。那么今天的主题就是取证(Forensics)了。所谓取证，就是通过监听、中间人、第三方信息（whois）甚至是网页等本身，来收集
2015-09-05 11:15:37
1021
翻译 一个实用的android框架（三）—— 兼容性
原文出处：http://saulmm.github.io/a-useful-stack-on-android-2-user-interface/ 原码github地址：https://github.com/saulmm/Material-Movies 作者：Saúl Molinero这是“一个实用的android架构”系列的第三章节。在第一章节中，我主要讲述了一个模块化和可拓展
2015-09-03 12:53:06
1590
2
翻译 一个实用的android框架（二）—— UI
这是“一个实用的android架构”系列的第二章节。在第一章节中，我主要介绍了项目的整体架构。在这个章节，我将主要介绍这个项目的UI和设计。怎么利用材料设计（MaterialDesign）去材料化(materialize)一个安卓应用不在本章的范围之内，在这里有一个David Gonzalez关于这方面做得精彩演讲，你可以用来参考。(译者注：演讲网址可能需要翻墙，题目是What Material D
2015-08-31 15:23:54
1833
翻译 一个实用的android框架（一）——架构
原文出处：http://saulmm.github.io/2015/02/02/A%20useful%20stack%20on%20android%20%231,%20architecture/ 原码github地址：https://github.com/saulmm/Material-Movies 作者：Saúl Molinero 译者注：这是最近接触到的一个关于安卓
2015-08-31 01:48:10
4180
1
转载 Xargs用法详解(转载)
简介之所以能用到这个命令，关键是由于很多命令不支持|管道来传递参数，而日常工作中有有这个必要，所以就有了xargs命令，例如：这个命令是错误的find /sbin -perm +700 |ls -l这样才是正确的find /sbin -perm +700 |xargs ls -l xargs 可以读入 stdin 的资料，并且以空白字元或断行字元作为分辨，将 s
2015-08-29 10:16:57
2224
翻译 使用ApplicationContext作为全局变量引用的缺陷
在上一篇博客中，我讲了初次开发安卓必须知道的 6件事（6 THINGS I WISH I KNEW BEFORE I WROTE MY FIRST ANDROID APP）。其中一条就是：不要有一个Context的静态引用。我这么警告的原因是一个Context的静态引用可能引发内存泄露。但是一位读者指出：一个Application Context的静态引用不会造成内存泄露，因为只要程序还在运行，A
2015-08-17 22:47:57
3233
转载 shell 分割字符串存至数组
shell编程中，经常需要将由特定分割符分割的字符串分割成数组，多数情况下我们首先会想到使用awk但是实际上用shell自带的分割数组功能会更方便。假如a=”one,two,three,four”要将$a分割开，可以这样：OLD_IFS=”$IFS”IFS=”,”arr=($a)IFS=”$OLD_IFS”for s in ${arr[@]}doecho
2015-08-14 23:02:35
2957
原创 securityoverridehacking challenge 解题思路汇总——Decryption
继Javascript的挑战（securityoverridehackingchallenge 解题思路汇总——JavaScript）之后，今天来进行解密的训练。加密算法在安全领域中有着重大的意义，它是很多安全设计的前提保障，因此许多加密算法都以官方的形式被公布出来，并被广泛使用。不过针对加密算法的攻击属于研究性质的工作，不论加密算法或者破解加密算法的方法已经提出，基本不会有太大变动。实际攻击中，
2015-08-12 17:45:47
863
原创 securityoverridehacking challenge 解题思路汇总——JavaScript
通过了Advanced部分（ securityoverridehacking challenge 解题思路汇总——Advanced），下面就进入JavaScript了。总的来说，这个部分比较简单，因为JavaScript是高度可控的东西。也就是说，安全角度而言，JavaScript是不可信的。4 Javascript4.1 Login Bypass这题比较容易
2015-08-04 21:05:59
647
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人