inty3251-CSDN博客

原创 [datalab]数据分析

前言使用GCP的datalab，把资料放在bigtable中调用，必须先把资料上传到云端硬碟，再使用bigtable汇入。datalab中使用bigquery查看有哪些表%bq tables list显示表部分内容%bq tables view -n (table)合并两张表%bq query -n -Concat下面接要加入的表与插入的表，及所要栏位INSERTFROM可以用%bq dryrun -q Concat先看要用多少资源后，再execute删除表import go

2020-08-10 10:46:56 226

原创 [GIS]计算面积

缘起做了好一阵子项目，每每要算面积总是怪自己记忆甚差，又忘了怎么做，作为一个GIS门外汉把解决过程记录一次，希望帮助和我一样初入门就被卡住的小夥伴。座标一开始总用偷懒的方式不想转换投影座标，直接在field用计算器算（记得选python）!shape.geodesicArea@SQUAREKILOMETERS!也可以直接用py执行arcpy.CalculateField_management(shp, "AreaKM2", "!shape.geodesicArea@SQUAREKILOMET

2020-07-17 12:19:24 3369

原创 [GCP]使用Datalab和BigQuery分析资料

前置如果要使用自己的数据集，要先上传档案到storage，因为从本机无法上传大档案到bigquery。第一步：开始storge，建立值域并上传档案。第二步：到bigquery建立资料集，建立表（上一步的档案）完成！启动datalab从google shell 启动：$ datalab connect -your-instance连接到8801整理资料表首先，先查看当前有多少表：%bq tables list%bq是datalab的bigquery魔术指令，因此我们不用import bi

2020-07-17 12:07:13 618

原创资料分析流程笔记

前言每次做资料分析前，笔者需先对资料进行了解，第一步就是进行探索分析EDA，此篇笔记记录常用套路，画图方法不常用就忘了，很容易小地方错了就做不出来，因此顺道记录哪里需要注意。查看内容data[“Title1”].unique() 查看唯一值pd.crosstab(df.Title, df.Survived).T.style.background_gradient()cross table 且用颜色深浅显示df.Title.value_counts() 计算数值个数一般画图开画布f, ax

2020-07-01 20:32:11 191

原创 [GCP]建立Datalab

云端开发环境：Cloud Datalab步骤使用GCP里的shell查看要使用的机房gcloud compute zones list再来使用选择的机房创建Datalabdatalab create mydatalabvm --zone <ZONE>过程会问ssh passphrase，没有就直接按Enter。3. 开启：成功后可直接去Web Perview. Port number改为8081。4. 结束后记得停止VM省钱5. 重新启动：到shell输入dat

2020-06-25 09:21:02 164

原创 [Kaggle]-titanic特徵分析

环境使用colab，连结云端硬碟载入资料!apt-get install -y -qq software-properties-common python-software-properties module-init-tools!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null!apt-get update -qq 2>&1 > /dev/null!apt-get -y ins

2020-06-17 17:08:42 118

原创 [09]回归＆梯度下降学习笔记

应用预测股价－过去股价=>明日自动驾驶－周围影像=>方向盘角度推荐系统－商品=>购买机率模型找到一个function set收集训练资料，定义loss fun，挑出最好的funGradient Decent随机选初始值计算L对w微分:if negative=>increase w例线性方程，原先把不同x, y都用同一个w&b，训练到一定程度l就将不下来。但若使用同一个fun，将所有组合相加在用一函数过滤（ex:sigmod)可以更好的配适方程。但

2020-05-14 10:36:02 129

原创 [6-2]RNN学习笔记

RNN模型在开始时给初始值，会根据前一个不同而改变output。RNN可以是deep layer，可以是Bidirectional RNN。可以随时去读记忆体cell。LSTM假设目前已经有c，现要输入z。1 用Gate自行学要不要读取，有三个门来决定。三个门由Zi, Zf, Zo控制2 有4个input 1个output，使用sigmod(值域0-1）来决定进入的比例。**注意:forget gate的想法是相反的，Zf=1全开代表记得;Zf=0关闭才是忘记。相较于nerual

2020-05-13 19:08:26 161

原创 [7-1]Keras API

前言神经网路若线性，一层一层叠上去的，对于这种网络的实现Sequential模型是更好的选择，但我们使用=>Keras API可以有multi-input/ output或是有向无环图简单对比以下两者效果相同，后者使用Keras API。有了api方便我们实现重复调用模型，注意重复使用的话权重也是相同的。API的架构Mulit-input架构from keras.models import Modelfrom keras import layersfrom kera

2020-05-12 13:42:38 132

原创调GPU运算错误:Blas GEMM launch failed

tensorflow2 配置gpuGPU版的tensorflow在模型训练时遇到Blas GEMM launch failed错误，或者keras遇到相同错误（keras 一般将tensorflow作为backend，如果安装了GPU版本的tensorflow，那么在使用keras时会优先使用GPU），类似报错如下：Blas GEMM launch failed : a.shape=(1, 1...

2020-04-22 11:38:27 6832 9

原创安装tensorflow报错解决

前言最近开始学深度学习在安装环境上遇到了个坑，卡了我1小时，上网搜了没人遇到相同问题，在此记录，希望后人不要有机会用上????，大家都顺利安装。背景我找了篇博客，并手把手按照上面步骤安装，基于Anaconda-Python+Tensorflow2.0-GPU+Keras+Pycharm写得蛮好的，可以按照博主他的方式安装。但当我pip tensorflow时遇到以下问题这部份其实在我cr...

2020-04-17 15:59:12 437 1

原创 [3]入门大数据-HadoopHDFS

初识核心分布式记算框架：MapReduce HDFS实现分布式文件系统hdfs源自于google的GFS论文先将每个文件拆分大小，存到不同node。架构官方文档NameNode and DataNodes(1). Master (NameNode/ NN) 带 n 个slave(DataNode/ DN)HDFS/ YARN/ HBase(2). 1个文件会被拆分成多个...

2020-04-08 13:29:11 87

原创 [7-31]集成分类器

目录Learning with ensemblesCombining classifiers via majority voteImplementing a simple majority vote classifierUsing the majority voting principle to make predictionsEvaluating and tuning the ensemble ...

2020-04-07 16:50:18 1682

原创 [6-28] 格状搜寻与混淆矩阵

目录标题Model Evaluation and Hyperparameter Tuningconfusion matrix几个重要的比率Model Evaluation and Hyperparameter Tuningconfusion matrix代码几个重要的比率PositiveNegativePositiveTPFNNegativeFPTN...

2020-04-06 14:26:31 209

原创 [GIS] 从excel导座标信息位置

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...

2020-04-06 10:50:42 127

weixin_43983379的博客