alexpeace-CSDN博客

原创 spark数据导入导出

【场景】1、数据导入：结构化数据，hive中2、代码提交：(1) spark-shell的方式(2) spark-submit的方式，代码已经编译好。(3) zeppelin，spark编码的方式3、数据输出：(1) csv,json(2) 本地化，hive【实现】1、spark-shell：交互式编程，涉及到外包包依赖时，将需要的jar包都下载

2017-12-22 11:12:06 5441

原创 dga域名检测

1【参考资料】https://github.com/phunterlau/dga_classifier2【检测思路】主要从语法分析的角度检测dga域名。包括使用n-gram和正常域名对比词频，使用hmm和正常域名对比域名字符组合的概率，分析域名的熵，辅音字母，数字等特征，作为dga域名的检测特征，之后使用svm算法进行模型训练。3【实现方法】3.1【数据文件】【输入】t

2017-12-19 17:49:45 8770

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人