- 博客(58)
- 收藏
- 关注
RSS订阅转载 PySpark进阶--深入剖析wordcount.py
在本文中， 我们借由深入剖析wordcount.py, 来揭开Spark内部各种概念的面纱。我们再次回顾wordcount.py代码来回答如下问题对于大多数语言的Hello Word示例，都有main()函数， wordcount.py的main函数，或者说调用Spark的main() 在哪里数据的读入，各个RDD数据如何转换map与flatMap的工作机制，以及区别redu...
2018-08-31 20:07:51
88
转载 SHELL日常文件备份脚本
#!/bin/bashfunctionNexus_bak_oss(){#这是nexus备份脚本##################rsync_cmd="/bin/rsync"rsync_arge_one="vzrtopg"rsync_arge_tow="progress"nexus_source_dir="/chj/data/nexus-app/"nexu...
2018-08-31 17:34:47
527
转载 EntityFramework6之原生SQL
原文：https://www.cnblogs.com/wujingtao/p/5412329.html 用EF执行SQL又比ADO.NET方便，特别是在执行查询语句的时候，EF会把查询到的数据自动保存到数据实体中，省去了使用DataReader的麻烦。同时查询出来的数据还会进行跟踪，如果你修改了查询出的值，之后就可以很方便的使用.SaveChanges()直接更新到数据库了。Exec...
2018-08-30 13:10:00
121
转载 git reset回滚代码
场景在很多时候，我们想回滚代码，这个时候，我们想到了git reset的使用，但是回滚并不是想象中那么全能，能够让你滚来滚去。在你回滚前后，你都需要保持谨慎，别掉进一些大坑中使用首先，我们经常要回滚的场合应该是上一次，可以使用以下的命令既可。git reset HEAD^那么上上次，还有上上次呢？不错，直接多加上^号git reset HEAD^^ // 回滚到上上次git res...
2018-08-30 12:49:09
203
转载 golang fmt格式“占位符”
golang 的fmt 包实现了格式化I/O函数，类似于C的 printf 和 scanf。 # 定义示例类型和变量type Human struct { Name string}var people = Human{Name:"zhangsan"} 普通占位符占位符 说明 举例 ...
2018-08-30 10:22:00
52
转载 复选框和切换按钮的7个使用案例
欢迎关注富途web开发团队，php , 前端需要你。缺人从众表单自带的控件可以方便我们收集用户的输入。在表单设计时，恰当的使用合适的控件也是一项挑战。checkbox有三种状态：未选择，选择和状态不确定的三种。最后一个状态表示子选项在父选项分组里并且子选项处于选择和未选择的中间状态。toggle表示物理开关，允许用户打开或者关闭，就像开关灯一样。监听toggle开关实现了两个操作：选择...
2018-08-30 07:47:54
657
转载 聚集索引、非聚集索引、联合索引、索引覆盖
1.例子用户表，表结构如下：t_user { uid primary key, login_name unique, passwd, login_time, age,...};2. 聚集索引（clustered index）聚集索引决定数据在磁盘上的物理排序，一个表只能有一个聚集索引，一般用primary key来约束。举例：t_user表...
2018-08-29 16:07:00
82
转载 SQL Server 2017 AlwaysOn on Linux 配置和维护（2）
2. 针对高可用性创建的AlwaysOn可用性组在Linux平台的AlwaysOn可用性组，SQL Server实例存储配置元数据在master数据库。在Linux群集上的AlwaysOn可用性组配置CLUSTER_TYPE = EXTERNAL。这时，没有WSFC来仲裁故障转移。在这种情况下，配置元数据被SQL Server实例管理和维护。因为在该群集没有见证服务器，需要第...
2018-08-29 09:43:43
72
转载 SpringBoot项目开发(一)：开篇
1.新开了一个 SpringBoot 项目开发系列博客，项目开发中遇到的问题与解决方案分享给大家。 2000 年左右 Java 行业中都是 EJB 的天下，但是 EJB 本身比较庞大复杂，各企业使用起来并不是很便利，于是2002年 Rod Johnson 发布我们所知的 Spring 框架的基础。接下来 Spring 发展迅速，平均两三年就会发布一个新版本，直到最近 9 月份推出的 Spring...
2018-08-29 09:25:00
54
转载 maven filters 和 resource
1 filter1.1 用途对多个配置文件进行选择。1.2 选择的依据1.3 使用的方式第一，在<resource>标签下面加<filtering>标签，并且<filtering>标签的值设置为true；第二，添加<filters>标签，添加<filter>，并且值中使用env变量第三，在profiles中添加...
2018-08-28 19:19:00
106
转载 Mysql索引，事务与视图
索引的概念索引是一种特殊的文件，包含着对数据表中所有记录的引用指针。更通俗地说，数据库索引好比一本书前面的目录，能加快数据库的查询速度。例如需要遍历2000条数据，在没有索引的情况下，数据库会遍历全部2000条数据后选择符合条件的；而有了相应的索引之后，数据库会直接在索引中查找符合条件的选项。数据库索引就是为了提高表的搜索效率而对某些字段中的值建立的目录。索引的作用（1）快速...
2018-08-28 18:49:25
97
转载 json解析写入mysql
import json,requests,pymysqlfrom pprint import pprintfrom datetime import datetimedt=datetime.now()todayy=datetime(dt.year,dt.month,dt.day,0,0,0)mysql_110= { "host": "172.18.28.1...
2018-08-28 15:08:00
397
转载 面对日近两百亿数据量，美图大数据平台如何建成？
如今大数据在各行业的应用越来越广泛：运营基于数据关注运营效果，产品基于数据分析关注转化率情况，开发基于数据衡量系统优化效果……美图公司有美拍、美图秀秀、美颜相机等十几个app，每个app都会基于数据做个性化推荐、搜索、报表分析、反作弊、广告等，整体对数据的业务需求比较多、应用也比较广泛。因此美图数据技术团队的业务背景主要体现在：业务线多以及应用比较广...
2018-08-28 14:24:12
195
转载 Java实现归并排序
百度百科:归并排序（MERGE-SORT）是建立在归并操作上的一种有效的排序算法,该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。若将两个有序表合并成一个有序表，称为二路归并。 归并操作:归并操作(merge)，也叫归并算法，指的是将两个顺序序列合...
2018-08-27 22:57:00
51
转载 PAT1139 First Contact
原题链接：PAT1139解析：这题真的很有陈越老师的风范。。。五个数据点没有一个是随机生成数据的，每个测试点都对应一个细节。由于是用'-'来表示女生，而int型读入数据如果是-0000，则表示为0，这样就丢失了性别，故需要用字符串读入 由于输出是要求四位数id，若id为0012，则%d会输出12，故需要%04d输出 如果是同性恋，那么要保证a找的朋友不...
2018-08-27 21:58:00
226
转载 迭代、原型、螺旋、敏捷模型之间的区别
此前一直对于项目生命周期的模型中出现的各种模型不是非常了解，对于迭代、原型、螺旋、敏捷开发经常感觉都一样，这次细细思考了一会，有点感觉了，关键点就是这几种模型的侧重点不一样，就如同每个人虽然都是看同一个女人，但是眼睛的焦点是不一样的。瀑布模型：强调开发工作（计划、设计、开发、测试、维护等）各阶段之间的先后顺序，不可以并行操作。迭代模型：与瀑布模型不同，不再强调开发工作的序列化过程，而是将这些...
2018-08-25 22:36:43
9363
转载 mac chrome 强制刷新浏览器缓存
普通刷新：command ＋r 强制刷新：command＋shift＋r 转载于:https://www.cnblogs.com/ryanzheng/p/9535287.html
2018-08-25 20:39:00
432
转载 WebGIS 利用 WebGL 在 MapboxGL 上渲染 DEM 三维空间数据
毕业两年，一直在地图相关的公司工作，虽然不是 GIS 出身，但是也对地图有些耳濡目染；最近在看 WebGl 的东西，就拿 MapboxGL 做了一个关于 WebGL 的三维数据渲染的 DEMO 练手。首先大致看了一下 MapboxGL 的 GLGS 到图层的一个结构：大体就是先做 WebGl 的 Shader 代码放进 Painter...
2018-08-24 20:28:03
992
转载 Confluence 6 数据中心的缓存
在 Confluence 数据中心（集群）你需要分布缓存和每一个节点的缓存。在集群管理界面，将会定义分布缓存和节点本地缓存。缓存配置文件存储在集群共享目录中的 home 目录下面。https://www.cwiki.us/display/CONF6ZH/Cache+Perf...
2018-08-23 00:24:55
55
转载 什么是端口号
在网络技术中，端口（Port）包括逻辑端口和物理端口两种类型。物理端口指的是物理存在的端口，如ADSL Modem、集线器、交换机、路由器上用 于连接其他网络设备的接口，如RJ-45端口、SC端口等等。逻辑端口是指逻辑意义上用于区分服务的端口，如TCP/IP协议中的服务端口，端口号的范围从0到65535，比如...
2018-08-22 18:04:00
520
转载 使用idea 在springboot添加本地jar包的方法 部署的时候本地jar没有包含的解决方法...
需要添加dependency 和resources 否则发布的时候可能会缺少jar<dependency> <groupId>com.sap</groupId> <artifactId>sapjco3</artifactId> <version>3.0.12</version> &
2018-08-22 12:44:00
1031
转载 Apache 与 Nginx 性能对比：Web 服务器优化技术
译文首发于 Apache 与 Nginx 性能对比：Web 服务器优化技术，转载请注明出处。多年前 Apache 基金会 Web 服务器 简称「Apache」,由于使用者众多几乎等同于「Web 服务器」。httpd（含义是简单的 http 进程）是它在 Linux 系统上的守护进程 - 同时它被预装到主流的 Linux 发行版中。Ap...
2018-08-20 05:18:27
301
转载 重要数据结构——list,tuple,set,dict
基本特性和创建对比：列表：可变的，可重复的，有序的 ，线性的列表个体称为元素，元素可以是任一对象一定均匀分配每个元素的内存存储空间，因为它靠偏移量来搜索元素，列表中存放的都是数据的内存地址，而不是数据，真正的数据存放在其他地方。列表创建： lst= list() lst = []lst =list(iterable) >>> lst = list(range(5)...
2018-08-19 17:16:58
137
转载 spss绘制图形更改组距
在绘制数据分布条形图时，要更改y轴的刻度很简单，直接在图形编辑窗口点击y轴修改就可以了。而x轴的间隔自动设置为1，如果想要更改组距，可以按照以下方式：点击重新编码为不同变量选择要更改的变量，在【输出变量】里输入新的名称，点击【更改】然后点击【旧值和新值】添加需要更改的数据范围，比如5-10，赋为新值1或者别的，【添加】，可以添加多个范围，直到满足需求。最好在更改范围...
2018-08-17 14:38:00
3314
转载 Linux 通过udev创建ASM DISK (RAC共享存储)
Linux 通过udev创建ASM DISK（RAC共享存储)系统环境：RedHat EL64Oracle： Oracle 11gR2在Oracle 11gR2，构建RAC时可以通过ASM创建asm disk，但是需要安装asmlib相关软件；对于RedHat EL64，Oracle的asm不能很好的支持，所以可以通过udev来创建asm disk，就不需要安装as...
2018-08-16 16:40:01
616
转载 无人驾驶用到哪些具体技术
无人驾驶是一项复杂的技术，综合应用了很多技术。抽丝剥茧，看看它到底用到了哪些技术。这个过程主要是输入外部信息，然后做出决策。 1.计算机视觉： 又可以细分为：A.物体识别 B.文本识别转载于:https://www.cnblogs.com/Robin008/p/9486039.html...
2018-08-16 10:59:00
1073
转载 urllib库在python2和python3环境下的使用区别
好东西啊！！！Python 2 namePython 3 nameurllib.urlretrieve()urllib.request.urlretrieve()urllib.urlcleanup()urllib.request.urlcleanup()urllib.quote()urllib.parse.quote()...
2018-08-14 11:19:00
52
转载 amd规范&require.js
AMD是一种为浏览器环境设计的一种异步模块加载规范，AMD规范全称是Asynchronous Module Definition，即异步模块加载机制。从它的规范描述页面看，AMD很短也很简单，但它却完整描述了模块的定义，依赖关系，引用关系以及加载机制。从它被requireJS，NodeJs，Dojo，JQuery使用也可以看出它具有很大的价值，没错，JQuery近期也采用了AMD规范。 作为一个...
2018-08-14 00:28:08
76
转载 Doodle era
Get more gold coins is your life's pursuit, perfect jump, help you get higher scores!转载于:https://www.cnblogs.com/lyfd8/p/9461157.html
2018-08-11 21:27:00
58
转载 微服务的一致性问题
1、微服务架构的数据一致性问题以电商平台为例，当用户下单并支付后，系统需要修改订单的状态并且增加用户积分。由于系统采用的是微服务架构，分离出了支付服务、订单服务和积分服务，每个服务都有独立数据库做数据存储。当用户支付成功后，无论是修改订单状态失败还是增加积分失败，都会造成数据的不一致。为了解决例子中的数据一致性问题，一个最直接的办法就是考虑数据的强一致性。那么如何保证数据的强一致性呢...
2018-08-10 10:16:00
117
转载 吴琛：智慧工地——履约考勤系统的应用实践
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~本文由云加社区技术沙龙 发表于云+社区专栏演讲嘉宾：吴琛，四川云检科技发展有限公司研发总监。具有10多年研发团队管理经验，组织参与多款软件产品研发以及部、省级信息平台建设。于2017年入选公路水运工程试验检测专家库，参与相关行业管理规范编写。大家下午好，我主要是针对智慧工地履约考勤系统的应用实践跟大家进行一次交流。这次的...
2018-08-10 05:16:40
213
转载 Redis Cluster集群快速搭建
想在3分钟以内搭建一个Redis Cluster集群吗？说3分钟可能有点久，实际上好像不到一分钟就完成了Redis Cluster集群的搭建。介绍redis cluster是官方提供的一种集群方案，Redis-Cluster采用无中心结构，每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。结...
2018-08-09 21:53:00
88
转载 免费使用一年的aws服务EC2使用纪录
小心收费项目2018.9.27账单 被收费了$0.00 per GB - US East (Ohio) data transfer from US East (Northern Virginia)0.004 GB$0.00AWS Data Transfer USE2-USE1-AWS-Out-Bytes $0.01$0.01 per GB - US East (Ohio) ...
2018-08-09 10:32:46
2940
转载 Nginx+Tomcat+Memcached实现会话保持(MSM)
会话保持的三种方式Session sticky会话绑定：通过在前端调度器的配置中实现统一session发送至同一后发端服务器Session cluster会话集群：通过配置Tomcat保持所有Tomcat的session的信息一致。Session server 会话服务：将所有的session交给专门的session服务管理。这里讲解第三种，使用Memcached做session s...
2018-08-08 17:02:00
60
转载 Java Code Review Checklist
https://dzone.com/articles/java-code-review-checklistClean CodeChecklist ItemCategoryUse Intention-Revealing NamesMeaningful NamesPick one word per concept...
2018-08-08 16:22:00
114
转载 Mysql修改密码以及权限问题
mysql修改密码小步骤错误分析：一开始是密码错误导致，先添加skip-grant-tables（这个配置无视权限的，添加直接回车登录即可），尽心修改密码，发现错误照旧百度了一下，发现是mysql数据权限问题因为mysql数据库的user表里，存在用户名为空的账户即匿名账户，导致登录的时候 是虽然用的是root，但实际是匿名登录的，通过错误提示里的''@'localhost'可...
2018-08-08 16:00:00
256
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人