- 博客(54)
- 收藏
- 关注
RSS订阅转载 Spark2.2+ES6.4.2（三十一）：Spark下生成测试数据，并在Spark环境下使用BulkProcessor将测试数据入库到ES...
Spark下生成2000w测试数据（每条记录150列）使用spark生成大量数据过程中遇到问题，如果sc.parallelize(fukeData, 64);的记录数特别大比如500w,1000w时，会特别慢，而且会抛出内存溢出over head错误。解决方案，一次生成的数据量不高于100w,多次调用，这样下来一共生成2000w耗时十几分钟。如果环境允许你可以在本地生成测试数据，然后上传到...
2018-10-31 18:33:00
605
转载 bootcamp分区_BOOTCAMP 删除分区失败
mac 装了双系统，Mac OS X 分配的内存太少了，导致使用卡顿，要删掉windows系统。在删除windows的时候出现 “您的磁盘不能恢复为单一的分区” 解决方案：1.重启Mac，并按下command + s键，进入命令行模式2.输入：fsck -f，进行磁盘检查3.重新进入系统后，打开bootcamp助手，删除windows系统。 此随笔乃本人学习工作记录，如有疑问欢迎...
2018-10-31 09:30:00
1626
转载 软件设计师20-2018年错题记录
第一次做完整的卷子，时间可以达到，但做的蒙蒙的，对的也不一定会QAQ，选择39，答题351 对阶将小阶向大阶对齐，同时将尾数右移n位?2 阻塞与中端1）阻塞：一般指线程阻塞，线程主动放弃CPU,暂停运行，阻塞结束恢复运行，抛出InterruptedException2）中断 因紧急情况，被动放弃CPU，处理完返回原来程序运行中断保存现场：保...
2018-10-30 11:39:25
170
转载 Java知识点总结
1，final类型的变量一定要初始化，因为final变量的值不能改变；final修饰的方法不允许被重写，但可以被重载；final修饰的类不能被继承；final修饰的引用类型，不能在指向别的东西，但可改变其中的内容。2，Java在编译时将源文件编译成字节码文件，在运行时把字节码文件变成机器码文件，C/C++在编译时直接编译成机器码。3，创建servlet实例是由servlet容器完成，并且在初始...
2018-10-29 19:44:00
51
转载 Python高阶函数
高阶函数高阶函数英文叫Higher-order function。什么是高阶函数？我们以实际代码为例子，一步一步深入概念。变量可以指向函数以Python内置的求绝对值的函数abs()为例，调用该函数用以下代码：>>> abs(-10)10但是，如果只写abs呢？>>> abs<built-in function abs>可见，ab...
2018-10-29 09:52:33
40
转载 往日学习=>【iptables实验part2】
往日，po出以前自己学习的一些记录，虽浅显但也是我的过去啊！续上part####实验五：iptables -A FORWARD -m mac --mac-source 00:0C:29:27:55:3F -j DROP-m mac --mac-sourcexx:xx:xx:xx:xx:xx匹配源MAC地址源MAC地址为00::0C:29:27:55:3F的数据包都丢掉iptables -A...
2018-10-28 15:21:12
66
转载 android 记一次富文本加载之路
文章链接：https://mp.weixin.qq.com/s/69TRkmFL1aNuSqfw4ULMJw项目中经常涉及到富文本的加载，后台管理端编辑器生成的一段html 代码要渲染到移动端上面，一种方法是前端做成html页面，放到服务器上，移动端这边直接webView 加载url即可，还有一种后台接口直接返回这段html富文本的，...
2018-10-28 02:58:31
249
转载 java线程池
1.线程池活跃线程。2.阻塞队列。3.增加的线程。4.拒绝策略。1.ctl。线程池中用一个AtomicInteger表示线程池状态和活动线程数。高三位表示线程池状态。后28位表示线程个数。线程状态：1. runing：-1。正在运行中2. shutdown 0 。 线程池已关闭，已加入线程池中的任务会继续进行。3. stop 1。 线程池中任务立即停止。4. tidy...
2018-10-27 02:18:17
52
转载 彻底清除挖矿程序
转自：https://blog.csdn.net/zzf1510711060/article/details/83015700一：杀死挖矿程序进程在服务器上使用top指令查看cpu的使用情况，发现有一个叫java的程序占用cpu高达99.9% PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMA...
2018-10-26 14:45:00
3240
转载 Julia加入TPU，这是一个靠自己也要融入机器学习的编程语言
选自arxiv，作者：Keno Fischer, Elliot Saba，机器之心编辑部。Julia 语言发展非常迅速，它可以视为同时具备了 Python 的灵活性与 C 的速度，但目前 TensorFlow 和 PyTorch 等框架官方都不支持 Julia 语言。因此近日有研究者借助 XLA 底层编译器为 Julia 构建 TPU 支持，他们表示该方法能够将 Julia 程序编写的 VGG19...
2018-10-26 02:53:12
123
转载 关于在虚拟机中绑核问题（NUMA）
问：在虚拟机中绑核（NUMA）还能生效吗？答：能绑定成功，但很可能达不到预期效果，取决于vm自身是否做CPU绑定，如果vm自己做了绑核，是有效的，此时在虚拟机里面再做容器的CPU绑与不绑效果一样，如果vm自己没做绑核，即便绑了也没用。当然如果vm方提供透传功能，将NUMA信息全部透传到vm，那么在虚拟机中对容器进行绑核是有效的。转载于:https://blog.51cto.com/dangzh...
2018-10-25 11:31:43
1672
转载 Algs4-1.1.4下列语句各有什么问题
1.1.4下列语句各有什么问题（如果有的话）？a.if (a>b) then c=0;b.if a>b {c=0;}c.if (a>b) c=0;d.if (a>b) c=0 else b=0;答：a) java中的if 分支语法中没有 then 这个关键字。b) if后面接的条件表达式需要用()括起来。c) 正确的语法。d) c=0后面需要接;号表示语句的结束。转载于:...
2018-10-25 10:53:00
97
转载 InnoDB意外宕机不难解决，但你真的懂数据恢复吗？
InnoDB如果发生意外宕机了，数据会丢么？对于这个问题，稍微了解一点MySQL知识的人，都会斩钉截铁的回答：不会！为什么？他们也会毫不犹豫地说：因为有重做日志（redo log），数据可以通过redo log进行恢复。回答得很好，那么InnoDB怎样通过redo log进行数据恢复的，具体的流程是怎样的？估计能说清楚这个问题的人所剩不多了，更...
2018-10-24 15:20:01
229
转载 如何作缺陷分析
此文已由作者夏君授权网易云社区发布。欢迎访问网易云社区，了解更多网易技术产品运营经验。产品测试组_理财基金统计季度：2016_Q1关键字：jira、Bug收敛、零Bug反弹、同比/环比第一部分 jira图表数据分析1. 最新问题图（以柱状统计图显示指定项目最新创建的问题）：说明：绿色柱体含义为某一周提交的bug数，绿色柱体重合的红色柱体表示该天提交的所有bug中到目前统计时间点为止所剩余的未解决...
2018-10-23 14:47:00
378
转载 MongoDB journal与oplog解惑
journaljournal 是 MongoDB 存储引擎层的概念，目前 MongoDB主要支持 mmapv1、wiredtiger、mongorocks 等存储引擎，都支持配置journal。MongoDB 所有的数据写入、读取最终都是调存储引擎层的接口来存储、读取数据，journal 是存储引擎存储数据时的一种辅助机制。默认情况下mongodb每100毫秒往journal文件中f...
2018-10-23 11:21:00
65
转载 发布一个npm包（很简单的react-tiny-list-view包）
一、安装node.js安装配置步骤二、创建npm包目录用npm-helloworld为例npm-helloworldindex.jspackage.json简单的写了对应js文件index.jsfunction hello(name) { console.log(`Hello ${name}!`);}hello('world');复制代码package.js...
2018-10-23 04:03:38
323
转载 Go语言系列文章
Go基础系列Go基础Go基础1.Go简介2.Go数据结构struct3.构建Go程序4.import导包和初始化阶段5.array6.Slice详解7.map8.常量和变量9.简单数据类型10.数据类型转换(strconv包)11.流程控制结构12.函数(1)13.defer、panic和recover14.函数(2)：回调函数...
2018-10-22 20:24:00
67
转载 MySQL1-安装
MySQL什么是数据库？数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。所以，现在我们使用关系型数据库管理系统（RDBMS）来存储和管理的大数据量。所谓的关系型数据库，是建立...
2018-10-22 16:13:00
73
转载 【Mysql】Linux安装
准备数据目录：mkdir /data/mysql下载Mysql：wgethttp://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.17-linux-glibc2.5-x86_64.tar.gztar -xzvf mysql-5.7.17-linux-glibc2.5-x86_64.tar.gzmv mysql-...
2018-10-22 14:15:00
53
转载 python中分割字符串split切割并选择输出 逐行读取文件后字符串拼接
字符串根据分隔符切割后输出，一下面#!/usr/bin/python# -*- coding: utf-8 -*-str="abc,123 efg,567"#以空行分割后输出print str.split();#以','分割2次后输出print str.split(',',2);#以','分割2次后输出地2个参数，1是从0开始，代表第二个参数print str.split...
2018-10-22 11:55:20
11173
转载 Redis（六）Lua脚本的支持
Redis为什么需要Lua脚本的支持当应用需要Redis完成一些Redis命令不支持的特性时，要么扩展Redis client或者更甚至编写c扩展Redis server。这都大大造成了应用的实现的难度。在此基础上，Redis通过内置Lua解释器，Redis client可以发起执行Lua脚本，完成特殊的功能需求。Redis中使用Lua脚本在Redis中可以通过使用eval和evalsha命...
2018-10-22 11:17:00
59
转载 学习笔记之Python全栈开发/人工智能公开课_腾讯课堂
Python全栈开发/人工智能公开课_腾讯课堂https://ke.qq.com/course/190378https://github.com/haoran119/ke.qq.com.python/tree/master/src/python-fullstackPython — 爬虫、数据分析python — 数据分析之旅，Numpy数据获取公开数据集（M...
2018-10-21 19:56:00
491
转载 Java类加载器( 死磕 6)
【正文】Java类加载器( CLassLoader )死磕 6: 自定义网络类加载器本小节目录6.1. 自定义网络类加载器的类设计6.2. 文件传输Server端的源码6.3. 文件传输Client端的源码6. 4 自定义加载器SocketClassLoader的源码6.5. SocketClassLoader的使用前面提到，除了通过Java内置的三大加载器，从JVM中系统属性中设置的...
2018-10-21 09:32:00
47
转载 PHP 危矣？Zend Engine 团队宣布脱离 Rogue Wave
开发四年只会写业务代码，分布式高并发都不会还做程序员？ >>> Zend Engine是一个开源脚...
2018-10-20 08:22:08
141
转载 记我的服务器被勒索病毒攻击的经历
出于对游戏行业的好奇，想自己搭建一套私服游戏，然后就在腾讯云上购买了一台windows2008服务器很快系统生成了，游戏花了一个下午也部署上去玩起来了第三天早上起来发现游戏连接不上服务器，然后打开电脑进入服务器让我大吃一惊啊： 桌面上文件全部被篡改并加了后缀，无法打开，浏览器弹出了一个网页，显示的就是上述内容，我就知道被病毒勒索 然后就找腾讯云发起工单找工程师怎么解决，发现腾讯也解...
2018-10-18 15:23:00
1776
转载 SEM百分比分析，你会吗？
今天码教授讲解竞价结构百分比分析法（简称构造剖析法），百分比分析法也常称为比重剖析法，是在核算分组的基础上，核算各组成有些所占比重，进而剖析内部构造特征以及随时间推移而表现出的改变规则的方法。 构造百分比剖析法通常过程： 1、SEM核算构造目标 构造目标是指各组成有些的百分比，核算公式：构造目标（比重）=（有些/整体）X100% 2、SEM构造目标剖析 能够对有关体...
2018-10-18 09:55:10
224
转载 聊聊storm的CustomStreamGrouping
序本文主要研究一下storm的CustomStreamGroupingCustomStreamGroupingstorm-2.0.0/storm-client/src/jvm/org/apache/storm/grouping/CustomStreamGrouping.javapublic interface CustomStre...
2018-10-18 04:21:02
158
转载 getSupportFragmentManager().beginTransaction().add报错cannot resolve method 'add'
2019独角兽企业重金招聘Python工程师标准>>> ...
2018-10-17 16:01:00
548
转载 集体通宵发版怎么破？阿里敏捷教练开出四道“药方”
导语 某研发团队处在事多、效果差的漩涡之中。在这样的背景下，阿里云效敏捷教练团队受邀，和该研发团队一起，通过4个迭代的持续改进，研发效率和质量取得了显著提升：●大幅缩短了需求开发时间，从一个月变为一周；●从无可用测试环境到具有稳定的测试环境；●从无自动化测试用例到50%的模块实现测试自动化；●从手工部署到自动化部署。 这一...
2018-10-17 13:55:39
89
转载 Redis删除大Key
原文链接：https://www.dubby.cn/detail.html?id=9112这里说的大key是指包含很多元素的set,sorted set,list和hash。删除操作，我们一般想到有2种，del和expire。DELTime complexity: O(N) where N is the number of keys that will be removed. Whe...
2018-10-17 06:25:38
83
转载 VS Code：让你工作效率翻倍的23个插件和23个编辑技巧
总结了一些平时常用且好用的 VS Code 的插件和编辑技巧分享出来。文章详情可查阅我的博客：https://lishaoy.net外观主题这里我分享两款主题：1.Material Theme效果如图：2.An Old Hope Theme效果如图：图标3.Material Icon Theme 当然，这两款主题...
2018-10-15 23:02:28
322
转载 ZROJ#397. 【18提高7】模仿游戏(爆搜)
题意题目链接Sol考试的时候调了1.5h没调出来我真是菜爆了。。。读完题目后不难发现，每次约束的条件相当于是\(b[((x[i] + i) % N + (i / N) % N) % N] = y[i]\)因为数据随机，暴力搜\(a_i\)就行了。搜索的时候结合给出的信息判断一下是否合法。#include<bits/stdc++.h>#define Pair pair<...
2018-10-15 18:53:00
107
转载 冒泡排序Java版
package dataStructureAlgorithmReview.day01;import java.util.Arrays;/** * 冒泡 * @author shundong * */public class Code_00_BubbleSort { //BigO(N²) public static void bubbleSort(int[...
2018-10-15 15:03:00
58
转载 Python3之函数
函数目录：初识函数返回值参数命名空间和作用域闭包函数和装饰器生成器和迭代器递归函数推导式内置函数匿名函数一、初识函数 1.内置函数 len() s = 'felix' len(s) 2.自定义函数 def my_len(): #自定义函数 声明函数 函数名定义方法跟变量规则相同 i = ...
2018-10-14 22:45:00
79
转载 正交设计与OO/SOLID【转】
正交设计，是普遍的设计原则，与粒度无关，与编程范式无关，更与具体的实现语言无关。（虽然确实在不同的编程范式下，或使用不同的编程语言时，具体的解决方法或难易程度不同，这也正是为何我们总是在寻找更适合的编程范式，更高效的编程语言的原因）。而具体到面向对象范式，我们都知道著名的SOLID原则。但是：这五个原则是怎么来的？它们的目的何在？它们的关系如何？为了搞清楚这些疑问，我们再次回到最初...
2018-10-13 00:18:00
193
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人