- 博客(21)
- 收藏
- 关注
RSS订阅原创 TVM（端到端深度学习编译器）简介
算子编译器前后端引入引入2021.2.8 和振伟聊了关于HW OD的工作内容，深度上很好的方向，目前纯OP的high level的设计，业界已经内卷了即难以进步。torch已经很好用了社区也好，想从纯软件上进步很难。而硬骨头OP在硬件上的优化比如GPU有前途但研发周期长，人才紧缺，还在缓慢发展中。TVM是业界有名气的平台，HW的TBE对标TVM 要做一个接口在前端（各种框架）和后端（异构）。有了前后端的经验，那么整个行业的Edge端都可以用到，市场很大。...
2021-02-20 21:57:39
14324
原创 测试-黑盒、白盒-集成-系统
白盒、黑盒测试白盒测试主要用于特点为了达到测试目的，做白盒测试遵循的原则1. 测试覆盖率2. 逻辑覆盖法黑盒测试目的黑盒测试可用于发现以下类型的错误：黑盒测试法的概念参考测试白盒测试白盒测试：也称为结构测试、逻辑驱动测试，是针对被测单元内部是如何进行工作的测试。是根据程序的控制结构设计测试用例。主要用于软件或程序验证。特点检查程序内部逻辑结构，对所有逻辑路径进行测试，是一种穷举路径的测试方法。但即使每条路径都测试过了，仍然可能存在错误。因为：穷举路径测试无法检查出程序本身是否违反了设计
2020-07-09 18:22:59
1022
原创 大数据之路-01-Linux学习
Linux查看防火墙状态：disk useviportpidnohup查看防火墙状态：systemctl status firewalld查看某个端口是否被释放firewall-cmd --query-port=xxxx/tcp释放某个端口firewall-cmd --add-port=xxxx/tcp --permanent要重启：service firewalld restartdisk usedu -sh : 查看当前目录总共占的容量。而不单独列出各子项占用的容量；du -lh
2020-06-27 15:42:48
380
原创 nginx 和 tomcat 协同
nginx and tomcatnginxtomcatnginx配置反向代理的tomcatnginxnginx功能：反向代理，负载均衡。本质上nginx只是一个代理服务器 负责转发用户的请求给真正的server，nginx代理了很多不同的真正的server。比如nginx监听80端口，转发给tomcat 8080.优点：安全性访问性能看起来麻烦，但可以把静态页面交给nginx管理。tomcat管理动态的。tomcat比如tomcat才是真正的server。nginx配置反向代理的
2020-06-25 11:40:52
324
原创 对JavaWeb项目打包的war进行debug (IDEA)
debug war in IDEA需求准备工作实施需求把 JavaWeb 项目打包为war之后，在浏览器里访问 localhost:8080 （使用tomcat 8080端口），或者访问 localhost:80 (配置了nginx代理，nginx端口为80)，希望debug到写的代码里准备工作需要修改的文件是 tomcat的 /bin目录下的 startup.sh, catalina.sh# vi startup.sh实施...
2020-06-24 20:26:42
1407
原创 Spark学习-Streaming
Spark StreamingSpark Streaming对比StormSpark Streaming 处理逻辑对比 SparkCore / SparkSQLSpark Streaming流式处理框架，7*24h 不间断运行对比StormStorm处理流式数据是：来一条，出一条。是纯实时处理。Spark Streaming 处理逻辑会等待一段时间，可以认为设置等待多久。比如等待10s，那么等到10s后，会把这期间的所有数据批量处理，然后输出结果。简而言之：来一段时间内的数据，一起处理。
2020-06-21 13:49:30
149
原创 PCA 和 SVD 的区别和联系
基础两者的基础都是 求解特征值、特征向量矩阵对向量的乘法，其实是矩阵对此向量的旋转和拉伸。如果矩阵对某个向量V只拉伸而不旋转，那么V就是该矩阵的eigenVector，拉伸比就是eigenValue.PCA是对一个维度的分析，比如对features分析，可以实现特征降维。SVDA=UΣVTA=U\Sigma V^TA=UΣVT是对两个维度的分析。比如矩阵的每行是产品，每列是用户，矩阵元素是评分。可以使用SVD向用户做产品推荐。...
2020-06-13 21:40:10
632
原创 稀疏矩阵的压缩方式 CCS / CRS
Sparse Matrix 稀疏矩阵Storage 存储方式Compressed Row Storage (CRS)Compressed Column Storage (CCS)参考Storage 存储方式Compressed Row Storage (CRS)压缩行的存储。这使用行优先的存储方式，即把矩阵转成一维数组时，行优先进行。使用3个向量来表示稀疏矩阵:values：存储非0的数值col_index：记录非0数值的在矩阵里的列索引 (0-based index)。row_ptr：记录
2020-06-13 12:30:02
3207
1
原创 不同库的matrix处理
矩阵处理python numpyspark mllibpython numpyimport numpy as nparr = np.array([[1,2,3,4,5,6]])arr_C = np.reshape(arr,(3,2), order="C") # default, C-like, row-majorarr_F = np.reshape(arr,(3,2), order="F") # Fortran-like, col-majorprint(arr)# [[1 2 3 4 5
2020-06-09 13:51:29
155
原创 Spark-Pipeline
Spark-Pipeline注IntroPipelineFitTransformDAGParametersSaving and Loading Pipelinescode注学习笔记。若涉及侵权，请告知删除。Intro构建在DataFrame之上。Mllib提供标准的机器学习算法API，能够方便的将不同的算法组合成一个独立的管道 Pipeline or workflow.DataFrame: from Spark SQL as an ML dataset, which can hold a var
2020-06-06 19:15:11
356
原创 hdfs shell的基本操作和hdfsWeb查看文件
hdfs shell, hdfsWebhdfs基本操作查询命令创建新的空文件创建文件增加文件查看文件内容复制文件删除文件或文件夹重命名将源目录下的所有文件排序合并到一个本地文件hdfs基本操作查询命令$ hadoop dfs -ls / 查询 / 目录下的所有文件和文件夹$ hadoop dfs -ls -R 以递归的方式创建新的空文件hdfs dfs -mkdir /t...
2020-05-30 11:17:28
686
原创 Spark求数据的统计值：最大值、最小值、平均值、方差、数量（Java代码）
Spark计算统计值用到的核心类Java代码注用到的核心类org.apache.spark.mllib.stat.Statisticsorg.apache.spark.mllib.stat.MultivariateStatisticalSummaryJava代码package ml.summary;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spar
2020-05-28 16:43:51
3746
原创 Spark MLlib求解机器学习Precision, Recall, F1值 (Java代码)
Spark MLlib求解Precision, Recall, F1 使用JavaMaven依赖使用的核心类理论准备Precicion, Recall, F1计算Precision计算Recall计算F1注意Java代码回到发放信用卡问题上用到的数据集参考Maven依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</art
2020-05-23 19:58:38
875
原创 centos7 startx进不去图形界面
报错centos7使用startx进不去桌面。报错为：file /root/.serverauth …解决首先：init 5进入图形化页面后，点击需要进入的用户。如果root没有列出，可以点击 “not listed?”，再手动输入用户名和密码。如果上面的不行，重装桌面相关的包yum groupinstall “X Window System”yum groupinstall “GNOME Desktop”...
2020-05-14 10:11:33
7072
原创 Java-心得
日期类Date类date2long 日期相加定义到毫秒Date类date2long 日期相加Date now = new Date(); // 获取现在的时间long date2long = now.getTime(); // Date to long可以对long类型数进行相加。实现Date的相加Date long2Date = new Date(longtime); // para...
2020-04-06 10:04:37
63
原创 序列化sklearn model 为 json (sklearn-json)
sklearn-json前言安装 sklearn-json使用序列化模型为json反序列化参考前言需求：导出sklearn训练好的算法模型为json格式，方便在不同编程语言间传递数据。方案：使用 sklearn-json安装 sklearn-jsonpip install sklearn-json注： 需要 scikit-learn >= 0.21.3使用序列化模型为j...
2020-03-26 12:29:02
1612
原创 机器学习-决策树理论
决策树理论本文先从熵说起，再到互信息，到信息增益。借助信息增益来确定决策树某节点的最优特征选择。使用递归的思想将决策树构建出来。当树构建完成后，在使用此树做预测时，依然使用递归的思路。所需基础熵数据结构-树递归算法熵决策树理论中始终离不开熵的身影。图1 熵图1中展示了各种熵H，由此韦恩图可知：I(X;Y) = H(X) - H(X|Y) // 其中I(X;Y) 被称为互...
2020-03-21 18:29:39
256
原创 Java中List的深拷贝
Java中List的深拷贝诸如对List<JavaBean>对象进行深拷贝时，可以使用private static <T> List<T> deepCopy(List<T> src) throws Exception { ByteArrayOutputStream baos = new ByteArrayOutputStream(); ...
2020-03-17 21:37:41
479
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人