- 博客(70)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 spark伪分布式的搭建
https://www.jianshu.com/p/9622f684144d感谢这篇博客，结合里面的步骤，我部署成功了。在这里我犯的错主要是没弄懂“主机名”是什么所以在修改spark-env.sh等配置文件时，主机名要写自己的现在正在运行的虚拟机的主机名，一定不要照搬照抄！...
2019-05-30 10:38:18
262
原创 from py4j.protocol import Py4JError ModuleNotFoundError: No module named 'py4j'
报错了，开始还想不明白。后来发现错在环境变量配置时我开始是这样写的export JAVA_HOME=/usr/lib/jvm/default-javaexport HADOOP_HOME=/usr/local/hadoopexport SPARK_HOME=/usr/local/sparkexport PYTHONPATH=$SPARK_HOME/python:$SPARK_H...
2019-05-30 09:03:41
4870
2
原创 Ubuntu 下 JDK 的安装（亲测有效）
https://blog.csdn.net/weixin_36343850/article/details/80548942我是按照这篇博客安装的jdk然而更改环境变量后最后发现还需要执行命令使修改立即生效source /etc/profile ...
2019-05-29 17:24:41
207
原创 ubuntu here is insufficient memory for the Java Runtime Environment to continue. # Native memory all
遇见这样的错查看了内存使用情况难怪运行不了，内存太小了。一看才发现我给虚拟机只分了1G的内存，增加到2G后，可使用空间立马增加了。（我还紧张得不行，担心是我电脑硬件太弱的问题）...
2019-05-29 16:33:00
2670
1
原创 clf.predict_proba(X_train)[:, 1]是什么意思？
y_train_prob = clf.predict_proba(X_train)[:, 1]这行代码让我疑惑，它究竟是什么意思呢？查资料外做实验，搞懂了。print(clf.predict(x_test))#返回预测标签就是预测值是哪些print(clf.predict_proba(x_test))#返回预测属于某标签的概率就是属于某类预测值的概...
2019-05-29 09:25:35
17909
3
原创 X_train,X_test,y_train,y_test有什么区别？
感谢这两篇博客：https://www.jianshu.com/p/075877ace8c3https://blog.csdn.net/jiushinayang/article/details/81098186看着这一行代码 X_train, X_test, y_train, y_test = train_test_split(x, y, test_size=0.2,random...
2019-05-28 21:29:36
36779
32
原创 python EDA数据分析例子（二分类问题，源代码）
import pandas as pdimport matplotlib.pyplot as pltfrom sklearn import metricsimport numpy as npfrom sklearn.model_selection import train_test_splitfrom sklearn.tree import DecisionTreeClassifier...
2019-05-26 21:43:44
1405
原创 怎么做数据的EDA分析？
1.什么是EDA分析？探索性数据分析（Exploratory Data Analysis，简称EDA）我的理解是，所谓“探索”，就是自己不受规则约束、用各种方法去找数据的特点、规律。2.怎么去实现EDA分析？首先要敢于假设，不设限。拿到一堆数据后，多少会有点猜想，那么就可以去大胆尝试和验证；怎么验证猜想乃至挖掘出更多关系与规律呢？要多做图，通过将数据可视化来直观浅显地展示其中的...
2019-05-26 21:28:20
5756
原创 机试题：xxx定律
题目描述 对于一个数n，如果是偶数，就把n砍掉一半；如果是奇数，把n变成 3*n+ 1后砍掉一半，直到该数变为1为止。 请计算需要经过几步才能将n变到1，具体可见样例。输入描述: 测试包含多个用例，每个用例包含一个整数n,当n为0 时表示输入结束。（1<=n<=10000）输出描述: 对于每组测试用例请输出一个数，表示需要经过的步数,每...
2019-05-26 20:45:02
184
原创 NameError: name 'cross_validation' is not defined
#from sklearn import cross_validation这样写报错了，解决方法是把cross_validation 都替换成model_selection原文地址https://blog.csdn.net/qq_35962520/article/details/85295228感谢这位博主~...
2019-05-25 17:24:18
5946
原创 大数据技术原理与应用：第12讲 图计算
1单选Pregel是一种基于 模型实现的并行图处理系统A.BSPB.STPC.TSPD.SBP2单选谷歌在后Hadoop时代的新“三驾马车”不包括A.CaffeineB.HamaC.DremelD.Pregel3多选下列哪些是以图顶点为中心的，基于消息传递批处理的并行图计算框架A.PregelB.Neo4jC.G...
2019-05-25 15:24:52
3530
3
原创 机试题：畅通工程与继续畅通工程（加造价）
畅通工程 继续畅通工程 省政府“畅通工程”的目标是使全省任何两个村庄间都可以实现公路交通（但不一定有直接的公路相连，只要能间接通过公路可达即可）。经过调查评估，得到的统计表中列出了有可能建设公路的若干条道路的成本。现请你编写程序，计算出全省畅通需要的最低成本。 测试输入包含若干测试用例。每个测试用例的第1行给出评估的道路条数 N、村庄数目M (N, M < =10...
2019-05-25 10:53:14
300
原创 机试题：畅通工程（无造价）
#include<stdio.h>#define N 1000int Tree[N];int findRoot(int x){//查找某个结点所在树的根结点 if(Tree[x]==-1) return x; else{ int tmp=findRoot(Tree[x]); Tree[x]=tmp; return tmp; }}int main(){ ...
2019-05-25 09:46:24
141
原创 大数据技术原理与应用第11讲：流计算
流计算秉承一个基本理念，即数据的价值随着时间的流逝而 ，如用户点击流。A.不确定B.不变C.降低D.升高Hadoop运行的是MapReduce任务，类似地，Storm运行的任务叫做 。A.TopologyB.TupleC.SpoutD.Bolt对于一个流计算系统来说，它应达到如下哪些需求A.海量式B.高性能...
2019-05-24 18:37:32
5026
原创 大数据技术原理与应用第10讲：Spark
Spark单元测验1单选(2分)Spark SQL目前暂时不支持下列哪种语言A.PythonB.JavaC.MatlabD.Scala2单选(2分)RDD操作分为转换（Transformation）和动作（Action）两种类型，下列属于动作（Action）类型的操作的是A.mapB.countC.groupByD.filter...
2019-05-23 21:01:59
8075
原创 PHP学习记录——CI框架
最近在学PHP的一个框架：CI CodeIgniter（web应用程序开发框架）发现一个好网站 PHP中文网CI采用的是MVC架构M：模型 包含对数据库进行增删改查的方法或者函数V：视图 一般就是最终呈现给用户的页面C：控制器 主要为生成页面起协调作用CI控制器控制器就是controllers目录下面的类1.文件名的第一个字母一定要大写2...
2019-05-22 22:32:04
255
原创 大数据技术原理与应用第8讲：Hadoop再探讨
Hadoop再探讨单元测验1单选(2分)下列说法正确的是A.第二名称节点无法解决单点故障问题B.第二名称节点是热备份C.HDFS HA提供高可用性，可以实现可扩展性、系统性能和隔离性D.HDFS HA可用性不好2单选(2分)HDFS Federation设计不能解决“单名称节点”存在的哪个问题A.良好的隔离性B.性能更高效C.单点故障问...
2019-05-22 20:31:55
7197
原创 大数据技术原理与应用第8讲：数据仓库Hive
1单选(2分)下列有关Hive和Impala的对比错误的是A.Hive适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询B.Hive与Impala中对SQL的解释处理比较相似，都是通过词法分析生成执行计划C.Hive与Impala使用相同的元数据D.Hive在内存不足以存储所有数据时，会使用外存，而Impala也是如此2单选(2分)下列关于Hi...
2019-05-21 17:00:49
6936
4
原创 机试题：并查集——欧拉回路
题目描述 欧拉回路是指不令笔离开纸面，可画过图中每条边仅一次，且可以回到起点的一条回路。现给定一个图，问是否存在欧拉回路？输入描述: 测试输入包含若干测试用例。每个测试用例的第1行给出两个正整数，分别是节点数N ( 1 < N < 1000 )和边数M；随后的M行对应M条边，每行给出一对正整数，分别是该条边直接连通的两个节点的编号（节点从1到N编号）。当N为...
2019-05-20 20:30:56
236
原创 大数据技术原理与应用第7讲：MapReduce
MapReduce分布式并行编程MapReduce单元测验1单选下列说法错误的是A.Hadoop框架是用Java实现的，MapReduce应用程序则一定要用Java来写B.Map函数将输入的元素转换成<key,value>形式的键值对C.MapReduce框架采用了Master/Slave架构，包括一个Master和若干个SlaveD.不同的Map任务...
2019-05-20 19:31:07
12548
4
原创 机试题：后缀子串排序
题目描述对于一个字符串，将其后缀子串进行排序，例如grain 其子串有： grain rain ain in n 然后对各子串按字典顺序排序，即： ain,grain,in,n,rain输入描述:每个案例为一行字符串。输出描述:将子串排序输出示例1输入grain输出aingraininnrainstep1：生成子串step2:...
2019-05-19 20:29:11
575
原创 大数据技术原理与应用第6讲：云数据库
UMP系统是低成本和高性能的MySQL云数据库方案UMP依赖的开源组件包括：Mnesia；RabbitMQ；LV；ZooKeeper在UMP系统中，Zookeeper主要发挥的作用包括：监控所有MySQL实例；作为全局的配置服务器；提供分布式锁，选出一个集群的“总管”UMP系统设计了如下机制来保证数据安全：记录用户操作日志；SSL数据库连接；SQL拦截；数据访问...
2019-05-19 19:50:51
2829
原创 windows下PHP环境的搭建：httpd: Syntax error AH00558: httpd: Could not reliably determine the server's fully
https://segmentfault.com/a/1190000003409708超好用的教程，你值得拥有。按着这个教程一步一步来就可以了，亲测有效。这里再说一下我遇到的问题及解决1.httpd: Syntax error on line 188 of D:/Program Files/wamp/httpd-2.4.39-win64-VC15/Apache24/conf/htt...
2019-05-19 17:27:11
1228
原创 零基础R语言快速安装使用
两个下载的网址:https://cran.r-project.org/bin/windows/base/https://www.rstudio.com/products/rstudio/download/#download分别下载R语言和R语言编译器RStudio下载完成后，安装即可~...
2019-05-18 17:08:44
349
3
原创 大数据技术原理与应用第4讲：分布式数据库HBase
1HBase是一种 数据库A.列式数据库B.键值数据库C.文档数据库D.关系数据库2下列对HBase数据模型的描述错误的是A.HBase中执行更新操作时，会删除数据旧的版本，并生成一个新的版本B.每个HBase表都由若干行组成，每个行由行键（row key）来标识C.HBase列族支持动态扩展，可以很轻松地添加一个列族或列D.HBase是一个稀疏、多维度、排序的映射表，这...
2019-05-17 22:21:54
19193
3
原创 大数据技术原理与应用第3讲：分布式文件系统HDFS
分布式文件系统HDFS单元测验HDFS的命名空间不包含A.字节B.块C.文件D.目录对HDFS通信协议的理解错误的是A.客户端通过一个可配置的端口向名称节点主动发起TCP连接，并使用客户端协议与名称节点进行交互B.名称节点和数据节点之间则使用数据节点协议进行交互C.客户端与数据节点的交互是通过RPC（Remote Procedure Call）来实现的D.HDFS通信...
2019-05-16 22:31:59
22926
5
原创 机试：统计字符
oh no！先贴出我的代码#include<stdio.h>#include<string.h>int main(){ char a[5]; char b[80]; int times[5]={0}; scanf("%s",a); if(a=="#") return 0; while(a!="#"){ scanf("%s",b);...
2019-05-15 20:18:55
119
原创 机试题：寻找大富翁（选择排序）
今日份AC（每次做这种把题目特意包装的题就觉得出题人好可爱(*╹▽╹*)）题目描述 浙江桐乡乌镇共有n个人,请找出该镇上的前m个大富翁.输入描述: 每个用例首先包含2个整数n（0<n<=100000）和m(0<m<=10)，其中: n为镇上的人数，m为需要找出的大富翁数, 接下来一行输入镇上n个人的财富值.输出描述: 请输出...
2019-05-15 17:29:01
254
原创 大数据技术原理与应用第2讲：大数据处理架构Hadoop
之前自己也在网上找了Hadoop相关的资料看，但是特别零散，还有点混乱。上完课，对Hadoop的了解就相对全面和系统了。我在想，我当初要是早点看到这门课，就不会在安装Hadoop的时候走那么多弯路了。。。Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04Hadoop版本演变Hadoop项目结构...
2019-05-15 09:37:30
1087
原创 机试：字符串链接
又一神奇的AC题目描述不用strcat 函数，自己编写一个字符串链接函数MyStrcat(char dstStr[],charsrcStr[])输入描述:两个字符串，字符串由小写字母组成。输出描述:链接后的字符串示例1输入hello worldgood morning输出helloworldgoodmorning#include&...
2019-05-14 21:45:24
216
原创 机试：完数
意外的AC题目描述 求1-n内的完数，所谓的完数是这样的数，它的所有因子相加等于它自身，比如6有3个因子1,2,3,1+2+3=6，那么6是完数。即完数是等于其所有因子（除了它自己）相加和的数。输入描述: 测试数据有多组，输入n，n数据范围不大。输出描述: 对于每组输入,请输出1-n内所有的完数。如有案例输出有多个数字，用空格隔开，输出最后不要有多...
2019-05-14 20:59:04
125
原创 《大数据技术原理与应用》网课学习记录D0
坦白说，我还从没完完整整在MOOC上学完一门课呢。但之前十五天共读深度学习的经历让我意识到，其实每天坚持每天推进，然后日积月累下来就可以完成最初觉得完成不了的事。现在，就以参加大数据比赛为契机，开始学习，天天打卡吧~我的学习计划学习内容：初步计划是一天学一讲，那么12天应该就完成了。Just Do it!...
2019-05-13 21:35:49
789
2
原创 http 状态码
200 - 请求成功 301 - 资源（网页等）被永久转移到其它URL 304-Not Modified未修改。所请求的资源未修改，服务器返回此状态码时，不会返回任何资源。客户端通常会缓存访问过的资源，通过提供一个头信息指出客户端希望只返回在指定日期之后修改的资源 403-Forbidden服务器理解请求客户端的请求，但是拒绝执行此请求 404 - 请求的资源（网页等）不存在 500 -...
2019-05-13 20:29:39
184
原创 机试题：求平均年龄
题目描述班上有学生若干名，给出每名学生的年龄（整数），求班上所有学生的平均年龄，保留到小数点后两位。输入描述:第一行有一个整数n（1<= n <= 100），表示学生的人数。其后n行每行有1个整数，取值为15到25。输出描述:可能有多组测试数据，对于每组数据，输出一行，该行包含一个浮点数，为要求的平均年龄，保留到小数点后两位。要输出浮点数、双精度数小数点后2...
2019-05-13 17:28:17
3136
1
原创 Linux的Makefile小例子
main.c#include <stdio.h>#include <sys/types.h>#include "hello.h"int main(void){ hello(); here(); bye(); exit(0); }hello.hvoid hello();void here();void bye();...
2019-05-12 21:17:26
654
原创 Linux shell 批量改后缀名
#!/bin/bashecho "change tail of file"cd /home/testmyselftail=$1 for filename in `ls`domv $filename ${filename}.$tail#我试了一下，mv $filename $filename.$tail 写成这样也可以done...
2019-05-12 17:52:29
330
原创 Linux shell（判断条件语句：获取系统时间）
#!/bin/bashecho "time now is:"read hoursif [ $hours -lt 12 ]thenecho "good morning"elif [ $hours -ge 12 ] && [ $hours -lt 20 ]thenecho "good afternoon"elseecho "good night"fi调用系统...
2019-05-12 13:42:08
6967
原创 Unix IPC 管道（Pipe）
管道是Unix IPC中两个进程进行通讯的最基本机制。通常，管道由一个 进程创建，管道用于父进程和子进程间的通讯，一个进程内的管道是没有意义的,管道是半双工的，数据只流向一个方向。pipe()参数返回两个文件标示符， pipefd[0] 打开供读数据， pipfd[1] 为pipefd[0] 写入数据filedes[0]用于读出数据，读取时必须关闭写入端，即close(filedes[...
2019-05-11 22:38:07
274
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人