nazenmehaoyisi-CSDN博客

转载 GLUON数据集国内使用

亚马逊的默认服务器被限速了，需要手动修改为其国内服务器，python代码中修改os.environ['MXNET_GLUON_REPO'] = 'https://apache-mxnet.s3.cn-north-1.amazonaws.com.cn/'print(os.getenv('MXNET_GLUON_REPO'))注意：不能用putenv设置环境变量？系统不支持，直接修改环境变量本身ht...

2018-03-09 11:43:53 1422 1

转载 SVM应用

SVM应用上图的例子（使用线性核函数）：from sklearn import svmX = [[2,0],[1,1],[2,3]]Y = [0,0,1]clf = svm.SVC(kernel='linear')clf.fit(X,Y)print(clf)print(clf.support_vectors_)print(clf.support_)print(clf.n_support_)运行有点...

2018-02-19 10:48:18 942

转载 KNN应用及算法简单实现

KNN应用及算法简单实现鸢尾[yuān wěi]（学名：Iris tectorum Maxim. ）iris数据集，统计学常用数据集from sklearn import neighborsfrom sklearn import datasetsknn = neighbors.KNeighborsClassifier()iris = datasets.load_iris()print(iris)...

2018-02-18 18:58:34 422

原创单硬盘gpt+uefi安装win10和Ubuntu

一、UEFI引导a) 只需要有对应的EFI目录，并且目录中有对应的启动文件，就可以启动对应的系统或是系统安装程序b) 安装系统基本上都可以直接将安装介资中的内容拷贝到移动硬盘或U盘中即可，不需要ISO刻录工具c) 同一张硬盘中EFI目录只会认第一个找到的，所以同一张硬盘双系统，没必要分两个EFI分区参考：https://www.iruanmi.com/get-ready-for-i

2017-11-10 18:23:04 1813

原创 MapReduce统计TopN示例

分别统计年、月、日最高气温（实现排序）package mr.temp;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.DoubleWritable;import org.apache.hadoop.

2017-10-29 10:44:20 3530

转载本地spark测试tomcat日志处理

tomcat访问日志分隔符用tab（利用了tab的unicode表示，“ ”），因为不容易出现在各种日志变量的内容中：tomcat日志的格式化（用表示tab替换默认的空格分隔符）： prefix="localhost_access_log" suffix=".txt" patter

2017-10-05 21:40:05 562

原创在window上提交spark代码到远程测试环境上运行

测试代码：package sparkcoreimport org.apache.spark.{SparkConf, SparkContext}/** * Created by chingy on 2017/10/2. */object WordCount { def main(args: Array[String]): Unit = {

2017-10-03 11:57:29 476

原创 spark-shell运行时找不到hadoop native库

启动时候报错：NativeCodeLoader: Unable to load native-hadoop library for your platform...通过hadoop checknative命令检查hadoop native库可以找到，并且用file命令可以检查是64位的，实际上hdfs已经启动，应该是spark的问题，还怀疑过是否版本不对最后发现，需要通过$

2017-10-02 10:18:03 1376

原创 hadoop2.7.4在windows系统IDEA远程测试

WordCount开发及运行开发MR程序需要引入新的包，还是通过maven管理依赖 org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4 org.apache.hadoop hadoop-

2017-09-30 11:06:50 843

原创解决Hadoop2.7.4中nodemanager无法启动的问题

在虚拟机环境下，3个节点，每台也就分配2G内存，以前安装CDH都能勉强跑起来，现在用hadoop2.7.4居然跑不动了。报错关键字为：doesn't satisfy minimum allocations2017-09-29 14:34:41,991 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManage

2017-09-29 16:05:30 4868

原创 Python的多继承

class A(object): def __init__(self, **kwargs): print("Enter A") print("Leave A")class B(object): def __init__(self, **kwargs): print("Enter B") super(B, self

2017-08-29 22:00:06 243

nazenmehaoyisi的博客