- 博客(4478)
- 收藏
- 关注
RSS订阅转载 Update：sparksql：第1节 SparkSQL_使用场景_优化器_Dataset
目标SparkSQL是什么SparkSQL如何使用Table of Contents1. SparkSQL 是什么1.1. SparkSQL 的出现契机1.2. SparkSQL 的适用场景2. SparkSQL 初体验2.3. RDD 版本的 WordCount2.2. ...
2019-09-30 23:11:00
550
转载 sparksql报错
执行时报错：org.apache.spark.sql.AnalysisException: Unable to generate an encoder for inner class `cn.itcast.spark.sql.Intro$Person` without access to the scope that this class was defined in.Try mov...
2019-09-30 22:23:00
660
转载 Update：Spark原理_运行过程_高级特性
如何判断宽窄依赖：===================================6. Spark 底层逻辑导读从部署图了解Spark部署了什么, 有什么组件运行在集群中通过对WordCount案例的解剖, 来理解执行逻辑计划的生成通过对逻辑执行计划的细化, 理解如何生成物理计划...
2019-09-29 21:12:00
509
转载 Update：spark_rdd算子：第2节 RDD_action算子_分区_缓存：缓存、Checkpoint
4. 缓存概要缓存的意义缓存相关的 API缓存级别以及最佳实践4.1. 缓存的意义使用缓存的原因 - 多次使用 RDD需求: 在日志文件中找到访问次数最少的 IP 和访问次数最多的 IPval conf = new SparkConf().setMaster("local[6]...
2019-09-28 21:23:00
177
转载 Update：spark_rdd算子：第2节 RDD_action算子_分区_缓存：算子和分区
一、reduce和reduceByKey：二、：RDD 的算子总结RDD 的算子大部分都会生成一些专用的 RDDmap,flatMap,filter等算子会生成MapPartitionsRDDcoalesce,repartition等算子会生成CoalescedRDD常见的 RDD 有两种类型...
2019-09-28 10:37:00
132
转载 从坐标文件mdb中生成图形_批量
# -*-coding:utf-8-*-import arcpyimport pyodbcimport os# 指定工作空间arcpy.env.workspace = r"E:\shp"# 2000坐标系fc_2000 = "YDBP_2000.shp"cursor_2000 = arcpy.da.InsertCursor(fc_2000, [...
2019-09-27 09:46:00
661
转载 机器学习上机作业1记录 && 相关知识点复习
机器学习上机作业1记录 && 相关知识点复习 import pandas as pddf=pd.read_csv('woman.csv') 读取出来的是DataFrame格式pd.shape 返回值是行数和列数（行数，列数），pd.shape...
2019-09-27 00:11:00
196
转载 Update：spark_rdd算子：第1节 RDD_定义_转换算子：深入RDD
一、二、案例：详见代码。针对案例提出的6个问题：假设要针对整个网站的历史数据进行处理, 量有 1T, 如何处理?放在集群中, 利用集群多台计算机来并行处理如何放在集群中运行?简单来讲, 并行计算就是同时使用多个计算资源解决一个问题, 有如下四个要点要解决的问题必须可以分解为多个可以并...
2019-09-25 23:04:00
123
转载 kaggle上的ctr预估
数据太大，处理困难。a. 使用online的算法b. steaming的方式从硬盘中读取数据c. import gc gc.collect()理解并读懂常见的ctr算法：lr donefm doneffm doneftrl donedeepfmfnn在kaggle上实现这些算法并比较它们的结果 -> TO BE DONE这周（0819-0825）了解...
2019-09-22 16:08:00
788
转载 Array Nesting 解答
QuestionA zero-indexed array A of length N contains all integers from 0 to N-1. Find and return the longest length of set S, where S[i] = {A[i], A[A[i]], A[A[A[i]]], ... } subjected to the rule...
2019-09-19 23:41:00
76
转载 前端入门--html基础教程
前端入门--html基础教程 <a href="www.baidu.com"> baidu </a>这个链接里面是跳转后会转接到的位置，baidu是显示在超链接上面的字。<img src="a.jpg" width="123" ...
2019-09-19 21:33:00
114
转载 彻底理解webgl
javascript很简单,核心点就一个: 一切皆对象. 简单又熟悉.呵呵这么简单的一句话，理解后，你就掌握了js。一切皆对象,函数也是对象,创建静态方法 fun.action, 创建实例:new fun。。。就是这么简单，这么随意。因为简单随意，所以要牢记根本.下面切入正题, 彻底理解webglwebgl是干什么的？专门画三角形的.传统的画三角形过程如下 ...
2019-09-17 10:27:00
219
转载 idea使用小技巧
1.按住alt，鼠标往下拉一条直线，可以选中一列或多列，或者不选中任何文字，可以让光标定位到这几行的相同的列的位置，然后输入文本，发现在被选中的所有行同时输入了这些文本（类似notepad++）：2.转载于:https://www.cnblogs.com/mediocreWorld/p/11530666.html...
2019-09-16 22:20:00
72
转载 Notepad++查看文本文件的总的字符数、GBK字节数、UTF8字节数
如果其编码是小结：UTF-8编码下，一个汉字占3字节，GBK编码下，一个汉字占2字节：转载于:https://www.cnblogs.com/mediocreWorld/p/11530573.html...
2019-09-16 22:01:00
4105
转载 数据可视化&前端入门
数据可视化&前端入门 所有内容都要包在<html></html>中间<body></body>中间是可见的页面内容<h1></h1>中间是根据标号不同，大小不同的标题，写/h貌似...
2019-09-16 18:24:00
149
转载 Pacific Atlantic Water Flow 解答
QuestionGiven anm x nmatrix of non-negative integers representing the height of each unit cell in a continent, the "Pacific ocean" touches the left and top edges of the matrix and the "Atlant...
2019-09-16 06:43:00
81
转载 向量点乘叉乘推导公式
======点乘======推导公式1:a•b = ax*bx + ay*by= (|a|*sinθ1) * (|b| * sinθ2) +(|a| * cosθ1) * (|b| * cosθ2)= |a||b|(sinθ1*sinθ2 + cosθ1*cosθ2)=|a||b|(cos(θ1-θ2))=|a||b|cosθ推导公式2:...
2019-09-14 17:41:00
5126
转载 Trapping Rain Water 解答
QuestionGivennnon-negative integers representing an elevation map where the width of each bar is 1, compute how much water it is able to trap after raining.The above elevation map is repres...
2019-09-13 23:33:00
63
转载 Minimum Height Trees 解答
QuestionFor an undirected graph with tree characteristics, we can choose any node as the root. The result graph is then a rooted tree. Among all possible rooted trees, those with minimum height...
2019-09-13 22:37:00
63
转载 idea中scala项目补全变量、添加打印语句的小技巧
1. 自动补全变量：new Person.var ，然后按回车键；效果：代码变成： val person: Person = new Person2.添加打印语句：person.name.prln （也可以是prtln） ，然后按回车键。效果，代码变成： println(person.name)转载于:https://www.cnblogs.com/mediocr...
2019-09-13 17:24:00
222
转载 Linux下PHP7.2扩展
前言 由于公司某项目需要连接oracle数据库,该项目使用的开发语言为PHP,故需要对PHP进行扩展环境说明 服务器:Centos7 PHP:7.2, 源码安装;安装路径:/usr/local/xxx/php-7.2扩展过程 前期准备 下载oracle所需客户端,我这里使用的是zip包. 下载地址 下载后存放...
2019-09-12 13:53:00
465
转载 Surrounded Regions 解答
QuestionGiven a 2D board containing'X'and'O'(the letter O), capture all regions surrounded by'X'.A region is captured by flipping all'O's into'X's in that surrounded region.Example:...
2019-09-12 12:37:00
66
转载 Base64
Base64是网络上最常见的用于传输8Bit字节码的编码方式之一，Base64就是一种基于64个可打印字符来表示二进制数据的方法。可查看RFC2045～RFC2049，上面有MIME的详细规范。Base64编码是从二进制到字符的过程，可用于在HTTP环境下传递较长的标识信息。采用Base64编码具有不可读性，需要解码后才能阅读。Base64由于以上优点被广泛应用于计算机的各个领域...
2019-09-11 22:23:00
64
转载 编码、摘要、加密
1、编码、摘要、加密的区别：相同点： 三种方式都是通过某种公开的算法将原始信息进行编码 /加密不同点： 编码：将数据转化成某种固定的格式的编码信息，方便不同系统间的传输，通过解码编码信息可以得到原始信息 哈希（又称为摘要、散列）：验证信息的唯一性，不能通过哈希值还原原始信息 加密：加密传输信息，保证信息的安全性，通过密钥和密文可以还原原始信息编码...
2019-09-11 00:13:00
389
转载 批量生成采矿_挖空矿区_xls字符串
# -*-coding:utf-8-*-import arcpyimport xlrdimport re# 采矿权坐标格式举例# 1,4,1,4145796.42,37500324.70,2,4145822.42,37500429.70,3,4145717.42,37500429.70,4,4145713.42,37500349.70,1167,1090,,1,...
2019-09-10 11:21:00
281
转载 批量生成探矿_挖空矿区_十进制度分秒_xls字符串
# -*-coding:utf-8-*-import arcpyimport xlrd# 探矿权坐标格式举例# 1,4,111.0657,36.1630,111.0837,36.1630,111.0837,36.1409,111.0657,36.1409,0,0,0,#2,5,113.3000,40.1830,113.3115,40.1830,113.3115,...
2019-09-10 11:13:00
272
转载 python入门（误）速记
python入门（误）速记 好久没用了QAQ啥都不记得了趁着机器学习开课迅速的来一波复习。。。。刚好前几节课讲的是基础语法。py3正常的输出就是print(bianliang),要是直接输出print("balabala")里面的东西直接打印print(...
2019-09-09 18:15:00
90
转载 scala补充知识
1.惰性加载：在企业的大数据开发中，有时候会编写非常复杂的SQL语句，这些SQL语句可能有几百行甚至上千行。这些SQL语句，如果直接加载到JVM中，会有很大的内存开销。如何解决？当有一些变量保存的数据较大时，但是不需要马上加载到JVM内存。可以使用惰性赋值来提高效率。语法格式：lazy val/var 变量名 = 表达式2.scala提供多种定义字符串的方...
2019-09-07 22:48:00
60
转载 隐马尔可夫模型
隐马尔可夫模型（Hidden Markov Model,HHM），作为一种统计模型，描述了含有隐含未知数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。 用一个掷骰子的例子来引入隐马尔可夫模型。 假设现有三种不同的骰子，第一种是四面体（称这个骰子为D4），可掷出1，2，3，4这4个数值，每个数值被掷出的概率为1/4；第二种是六面体（称D6），可掷出1，2，3，4，5...
2019-09-07 16:51:00
217
转载 做题记录--day53
做题记录--day53 PAT A1005注意看数字范围，还有就是是非负数（len1需要单独处理），以及空格的处理刚开始把nine打错了 找了半天#include<stdio.h>#include<string.h>...
2019-09-07 10:48:00
68
转载 Palindrome Partitioning II 解答
QuestionGiven a strings, partitionssuch that every substring of the partition is a palindrome.Return the minimum cuts needed for a palindrome partitioning ofs.Example:Input:"aab" Out...
2019-09-06 23:32:00
50
转载 身份证号码的组成
公民身份号码的不仅应用在居民身份证上，也运用于其他领域。身份证的基本由地址码、出生日期码、顺序及性别码、校验和这几样构成。一般身份证最后一位都是数字，为什么还会出现字母X呢？原因就是居民身份证号码是按照国家标准编制的，由18位组成，?第18位立为校验码。?校验码是由号码编制单位按统-?-的公式计算出来的，如果某人的尾号是0-9，都不会出现X，但如果尾号是10，那么就得用X来代替，因为如果...
2019-09-06 21:55:00
282
转载 做题记录--day52
做题记录--day52 PAT A1001注意读题，在len不到4的情况下，要区分，还有就是0的情况下要区分，没了#include<stdio.h>#include<string.h>#include<algor...
2019-09-06 20:37:00
60
转载 Oracle的TO_CHAR()格式化数字为百分数的字符串
TO_CHAR(-0.926903249,'FM999999990.00') || '%'说明：1，(点号) ：'99.99' ：点号，不要念为"句号"，句号是个圆圈，点号只能出现在小数点对应的地方.只能出现一次。2，0(零) '0999.99' ：零，在对应位置返回对应的字符，如果没有则以'0'填充。3，9 '999.99' ：9在小...
2019-09-06 09:56:00
468
转载 转载和补充：Oracle中的一些特殊字符
oracle通配符,运算符的使用用于where比较条件的有：等于：=、<、<=、>、>=、<>包含：in、not in exists、not exists范围：between...and、not between....and匹配测试：like、not likeNull测试：is null、is not null布尔链接：an...
2019-09-06 09:52:00
90
转载 redis哨兵模式启动redis-sentinel sentinel.conf 报错
[root@node01 redis-3.2.8]# redis-sentinel sentinel.conf*** FATAL CONFIG FILE ERROR ***Reading the configuration file, at line 73>>> 'sentinel auth-pass 192.168.8.100 123456'No such mas...
2019-09-05 21:59:00
427
转载 做题记录--day51
做题记录--day51 PAT B1024啊啊啊啊啊啊啊啊这个题卡了一天终于过了啊！！！几个注意事项，首先，在后面指数为正数的情况下，需要考虑到前面可能是多0的，比如+0.01E+03，前面0要去掉还有就是在指数补完数量正好的情况下，这时候要把末尾小...
2019-09-05 20:36:00
62
转载 程序员学习photoshop
对于一个程序员来说，掌握photoshop的一些基本操作是必要的。如果不是独立开发者的话, 不必花很多时间去学习.但是越熟悉越好photoshop很简单，很多策划都会的。为什么策划要会photoshop？答案: 1:photoshop很简单 2:多掌握一门技术 3:方便与程序，美术沟通为什么程序员要会photoshop?答案: 1:photoshop很简单 2:多...
2019-09-05 09:55:00
309
转载 redis使用技巧小结
一、Redis 密码设置和查看密码redis没有实现访问控制这个功能，但是它提供了一个轻量级的认证方式，可以编辑redis.conf配置来启用认证。1、初始化Redis密码：在配置文件中有个参数：requirepass，这个就是配置redis访问密码的参数；比如 requirepass password（Ps:需重启Redis才能生效） redis的查询速度是非常快的，外部用户一秒内可以...
2019-09-04 23:33:00
96
转载 第1节 redis组件：10、redis集群
10、redis集群1、redis集群的介绍Redis 集群是一个提供在多个Redis节点之间共享数据的程序集。Redis 集群并不支持同时处理多个键的 Redis 命令，因为这需要在多个节点间移动数据，这样会降低redis集群的性能，在高负载的情况下可能会导致不可预料的错误。Redis 集群通过分区来提供一定程度的可用性，即使集群中有一部分节点失效或者无法进行通讯， 集...
2019-09-04 00:22:00
78
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人