- 博客(55)
- 收藏
- 关注
RSS订阅翻译 Playbook: Supply Chain Compromise
Playbook: Supply Chain CompromiseInvestigate, remediate (contain, eradicate), and communicate in parallel!Assign steps to individuals or teams to work concurrently, when possible; this playbook is not purely sequential. Use your best judgment.Investigat
2022-05-19 19:01:49
165
翻译 Playbook: Ransomware
Playbook: RansomwareInvestigate, remediate (contain, eradicate), and communicate in parallel! Containment is critical in ransomware incidents, prioritize accordingly.Assign steps to individuals or teams to work concurrently, when possible; this playbook
2022-05-19 18:11:16
230
翻译 Playbook: Phishing
Playbook: PhishingInvestigate, remediate (contain, eradicate), and communicate in parallel!Assign steps to individuals or teams to work concurrently, when possible; this playbook is not purely sequential. Use your best judgment.InvestigateTODO: Expand
2022-05-19 18:10:44
214
翻译 Playbook: Identity and Access Compromise
Playbook: Identity and Access CompromiseInvestigate, remediate (contain, eradicate), and communicate in parallel!Assign steps to individuals or teams to work concurrently, when possible; this playbook is not purely sequential. Use your best judgment.Inv
2022-05-19 18:09:54
76
翻译 Playbook: Website Defacement
Playbook: Website DefacementInvestigate, remediate (contain, eradicate), and communicate in parallel!Assign steps to individuals or teams to work concurrently, when possible; this playbook is not purely sequential. Use your best judgment.InvestigateIm
2022-05-19 17:26:01
188
原创 联邦学习之我见
2019年7月8日，英国信息监管局发表声明说，英国航空公司因为违反《一般数据保护条例》被罚1.8339亿英镑（约合15.8亿元人民币）。伴随着欧盟出台的新法案——《通用数据保护条例》（General Data Protection Regulation, 简称GDPR），数据隐私保护已经成为全世界关注的趋势。个人隐私保护也是2019年RSA大会的重要议题。目前，谷歌针对以上“数据隐私保护”的问题在...
2020-04-30 13:36:31
1814
原创 机器学习在数据分析中的应用实例
本人文章http://blog.nsfocus.net/data-analysis-clustering-algorithm/
2019-10-11 13:35:05
2019
原创 jvm调试参数说明
Trace跟踪参数-XX:+printGC 可以打印GC的简要信息[GC 4790K->374K(15872K), 0.0001606 secs]-XX:+PrintGCDetails 打印GC详细信息-XX:+PrintGCTimeStamps 打印CG发生的时间戳[GC[DefNew: 4416K->0K(4928K), 0.0001897 secs] 4790K->...
2019-07-23 09:52:59
614
原创 ElasticSearch SIEM方案
Host/Network AnalysisTimeLine Custom QueryFilebeat DashboardAudit DashboardMetricbeat DashboardMachine Learning
2019-07-11 17:24:12
1118
1
原创 陌陌风控系统
系统架构该引擎通过对用户已经采集的并进行预处理的日志进行静态规则的判断，从而输出不符合相关规则的异常数据，达到告警监控的目的。（本次开源版仅包含陌陌业务安全风控系统静态规则引擎中的部分功能）系统功能使用步骤存在缺陷1数据接入方式为rest接口，但目前只支持内置的数据源访问：curl 10.65.133.12:50000/report/ -X POST -d ‘{“source_n...
2019-06-20 20:10:28
6307
3
原创 洋葱网络流量识别方案
Tor流量检测方案1.Tor简介Tor通过连接一系列虚拟隧道从而允许组织和个人通过公共网络共享信息而不会损害隐私。同样，Tor是一种有效的审查规避工具，允许其用户访问其他被阻止的目的地或内容。Tor的用户越多，节点越多，匿名性就越受到保护。Tor网络上的数据包不是采用从源到目的地的直接路由，而是通过几个中继采用随机路径，因此任何单点的观察者都无法知道数据来自何处。客户端为电路中的每一跳协商一组...
2019-04-09 17:20:58
7859
4
原创 Postgresql批量入库方式
需要一次提交批量数据到数据库，采用如下写法在性能上能提高10倍左右！public synchronized static void sendToPG(List<StandardOutput> standList) { System.out.println(" insert data"+standList.size()); try { PreparedStatement...
2019-01-07 18:25:23
2633
1
原创 Hbase配置与工具操作类
基础配置hbase-env.shexport JAVA_HOME=/opt/nsfocus/espc/deps/javaexport HBASE_CLASSPATH=/opt/nsfocus/espc/conf/hadoop/hbase-site.xml<configuration><property> <name>hbase.rootdi...
2018-11-26 17:31:24
225
原创 Flume Agent应用配置
以下是Flume作为Agent实例，把应用数据发送到hdfs上，实现实时数据转发的功能。example.conf: A single-node Flume configurationName the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1Describe/configure the sou...
2018-11-26 15:54:07
831
原创 SparkStreaming序列化问题处理
经过个把月的摸爬滚打，项目终于在磕磕绊绊中成型了。先来个简介：用python 写了一堆的聚类算法，将线上数据进行聚类分析，找出离群点，建立模型。用这些模型用来检测用户的行为。bug产生的过程实时检测部分采用SparkStreaming实现，在使用过程中发现代码启动后一直会包序列化问题，瞻仰下咱们这个bug，测试美眉将bug级别从normal改到high，又从high改到了cri，那个扎...
2018-11-23 11:31:26
1603
1
原创 SparkStreaming实时处理应用
import java.util.ArrayList;import java.util.HashMap;import java.util.HashSet;import java.util.Map;import java.util.Set;import org.apache.log4j.Logger;import org.apache.spark.SparkConf;import o...
2018-11-14 16:08:10
573
原创 flink流处理demo
flink流处理demoimport org.apache.flink.api.common.functions.FoldFunction;import org.apache.flink.api.java.functions.KeySelector;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.s...
2018-11-14 14:04:56
3185
1
原创 matpltlib 库使用示例二
import pandas as pdimport matplotlib.pyplot as pltunrate = pd.read_csv('unrate.csv')unrate['DATE'] = pd.to_datetime(unrate['DATE'])first_twelve = unrate[0:12]plt.plot(first_twelve['DATE'], first...
2018-10-17 11:31:48
314
原创 matpltlib 库使用示例一
import pandas as pdunrate = pd.read_csv('unrate.csv')#print unrateunrate['DATE'] = pd.to_datetime(unrate['DATE'])print(unrate.head(12)) DATE VALUE0 1948-01-01 3.41 1948-02-01 ...
2018-10-17 11:27:32
255
原创 Spark Map/MapPair/reduceByKey 使用Demo
package com.;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.a...
2018-10-11 14:58:18
683
原创 pandas基本命令
import pandasfood_info = pandas.read_csv(&quot;food_info.csv&quot;)col_names = food_info.columns.tolist()gram_columns = []for c in col_names: if c.endswith(&quot;(g)&quot;): gram_columns.append(c)
2018-09-18 10:08:18
359
原创 Numpy 函数使用技巧
import numpy as npdata = np.genfromtxt(&amp;quot;world_alcohol.txt&amp;quot;,delimiter=&amp;quot;,&amp;quot;)print dataprint type(data)[[ nan nan nan nan nan] [1.986e+03 nan
2018-09-17 09:03:12
205
原创 Flink on Yarn
Flink on Yarn 运行原理第一种：内存集中管理模式1.启动flink集群 client端需要配置环境变量： YARN_CONF_DIR HADOOP_CONF_DIR HADOOP_HOME 2 ./bin/yaen-session.sh -n 2 -jm 1024 -tm 1024 -d //-n 2 表示指定两个容器 // -jm 102...
2018-07-13 11:27:54
1760
原创 flink入门程序
本文列出了java版的flink基础程序和使用方法，读者可以通过本文开始flink的基础学习，后续会持续更新flink的相关知识资源 flink-1.4.2-bin-hadoop26-scala_2.11.tgz 解压到linux主机， 执行：sh /root/flink-1.4.2/bin/start-local.sh 启动flink 访问web：http://ip:8081即可看...
2018-07-12 16:37:50
7168
原创 JAVA自定义Annotation
Annotation定义import java.lang.annotation.ElementType;import java.lang.annotation.Retention;import java.lang.annotation.RetentionPolicy;import java.lang.annotation.Target;@Retention(Retention...
2018-07-09 17:39:29
182
原创 Hive索引使用
1创建索引：hive&amp;gt; create index 1index_leon on table ipslog(nstimestamp)&amp;gt; as 'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler'&amp;gt; with deferred rebuild&amp;gt; IN TABLE index_table_studen...
2018-07-05 16:52:24
702
原创 Hive Metastore原理及配置
一、Hive存储概念1、Hive用户接口：命令行接口（CLI）:以命令行的形式输入SQL语句进行数据数据操作Web界面：通过Web方式进行访问。 Hive的远程服务方式：通过JDBC等方式进行访问。 2、元数据存储 将元数据存储在关系数据库中（MySql、Derby），元数据包括表的属性、表的名称、表的列、分区及其属性以及表数据所在的目录等。3、解...
2018-07-04 16:32:08
6772
1
原创 JAVA反射基础与应用
import java.lang.reflect.Field;import java.lang.reflect.Method;/** * java反射 * 成员变量 Field * 方法 Method * */public class T { public static void main(String[] args) throws Exception { ...
2018-07-03 19:06:21
411
原创 docker基础镜像操作实例
dockers基础操作获取镜像：docker pull alpine查看镜像：docker images导出镜像：docker save -o hello.jar hello载入镜像：docker load<hello.jar运行一个镜像：docker run -i -d -t hello /bin/bash查看现有容器：docker ps -a...
2018-07-02 10:21:12
859
原创 Hbase基础操作
hbase查询操作： 登陆： hbase shell创建表： create_namespace 'ecitem' create "ecitem:ShoppingCart", {NAME =>'i',COMPRESSION =>'GZ', VERSIONS => 1, BLOCKCACHE => true, IN_MEMORY=>false}插入数据： put ...
2018-06-29 10:55:42
367
原创 python 基础概念
1.列表： 2.元祖： 3.字典： 4.import 和 from import的区别 5.python模块发布：a>>添加setup.py:from distutils.core import setupsetup(name="模块名称", version="版本", description="模块描述", author="模块作者", py_m...
2018-06-29 10:48:49
190
原创 python 设计断点方式
python设置断点方式：Python的debug有两种方式： 1.在命令行中运行， 2.在脚本当中运行。两种方式都需要使用pdb模块。 方式一：在命令行中运行 $ python -m pdb my_script.py 方式二：脚本中运行在需要设置断点的地方，插入方法 pdb.set_trace() import pdbdef make_bread(): pdb....
2018-06-29 10:40:49
7272
1
原创 JAVA多线程
1.多线程建议使用Runnable不建议使用thread 使用方法： package com.newegg.redis; public class MuliThread { public static long t =0; public static class changeT implements Runnable{ private long to;...
2018-06-29 10:39:50
122
原创 kafka生产者与消费者
可同时建立多个组进行数据消费，不同组使用不同数据即可。保证集群性能。设置方法： props.put(“group.id”, “jd-group2”); props.put(“group.id”, “jd-group3”);package com.newegg.ec2.test.kafka; import java.util.Properties;impor...
2018-06-29 10:37:49
449
原创 cassandra基础操作
cassandra查询操作： 登陆： ./cassandra-cli connect localhost/9160;创建表： create keyspace ShoppingCart with placement_strategy = ‘SimpleStrategy’ and strategy_options = {replication_factor:2} and durable_write...
2018-06-29 10:36:47
392
原创 Redis操作及原理
1.编译make 或者 make install /src下 2.启动 ./redis-server –port 6379 可选项 3../redis-cli shutdown 等待数据写完之后关闭redis 4. ./redis-server ../redis.conf –loglevel warning 5. redis 支持 16个数据库 用select 0到15 切换...
2018-06-29 10:35:22
152
原创 JAVA 设计模式（全）
1、工厂方法模式（Factory Method）工厂方法模式分为三种： 1.1、普通工厂模式，就是建立一个工厂类，对实现了同一接口的一些类进行实例的创建。首先看下关系图： package com.designtype.factory.factory1;public class MailSend implements Sender { @Override publ...
2018-06-29 10:28:18
709
原创 JAVA 程序设计原则
1、开闭原则（Open Close Principle）开闭原则就是说对扩展开放，对修改关闭。在程序需要进行拓展的时候，不能去修改原有的代码，实现一个热插拔的效果。所以一句话概括就是：为了使程序的扩展性好，易于维护和升级。想要达到这样的效果，我们需要使用接口和抽象类，后面的具体设计中我们会提到这点。2、里氏代换原则（Liskov Substitution Principle）里氏代...
2018-06-29 09:55:50
1546
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人