乐观的生活
小东升职记
人生陆远只有忘的甘静才会有江莱。
展开
-
很遗憾这样认识你,请好好爱自己
用健康换取金钱真的值吗首先在这里声明一下,今天看到微信公众号不二大叔发表的这篇文章,真的很触动我,用健康换取金钱真的值吗?如果大叔看到这篇文章的话,我希望能够原谅我,好的文章我希望和大家一起分享,我只想告诫一下编程界的程序员们,有时间多多多陪陪您的家人,毕竟家是您最终的归属。37岁胃癌男子给妻子发微信看哭无数人...原创 2018-08-04 14:43:09 · 658 阅读 · 0 评论 -
jieba分词
# -*- coding: utf-8 -*-from distutils.core import setupLONGDOC = """jieba=====“结巴”中文分词:做最好的 Python 中文分词组件"Jieba" (Chinese for "to stutter") Chinese text segmentation: built tobe the best Pyt...原创 2019-06-24 18:13:22 · 145 阅读 · 0 评论 -
jieba完美介绍
jieba========“结巴”中文分词:做最好的 Python 中文分词组件"Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation module.- _Scroll down for English doc...原创 2019-06-24 18:14:45 · 384 阅读 · 0 评论 -
python MD5文件校验
根据文件块长度,依次获取文件内容读入内存,通过update()逐次更新校验值import hashlibdef md5sum(fname): """ 计算文件的MD5值 """ def read_chunks(fh): fh.seek(0) chunk = fh.read(8096) while chu...原创 2019-07-03 13:27:03 · 847 阅读 · 0 评论 -
python 判断文件是否是特定后缀文件
def endWith(s, *endstring): arr = map(s.endswith, endstring) if True in arr; return Ture else : return False原创 2019-07-03 13:31:48 · 1569 阅读 · 0 评论 -
python 将特定路径下大于1G的文件拷贝
from shutil import copyfiledef list_files(files,file_dir,linux_dir): for ls_file in files: yn=os.path.exists(linux_dir + ls_file) if not yn: if size(file_dir _ ls_file) >= 1000.00: ...原创 2019-07-03 13:37:12 · 353 阅读 · 0 评论 -
SparkStreaming foreachPartition实现输出数据到MYSQL
import java.sql.DriverManagerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}object foreachTOMysql { def writeToMysql()={ val conf = new Spar...原创 2019-07-03 16:21:33 · 800 阅读 · 1 评论 -
python教程
https://www.liaoxuefeng.com/wiki/1016959663602400/1017806472608512http://c.biancheng.net/python/class_object/原创 2019-07-09 17:55:46 · 127 阅读 · 0 评论 -
python 映射目录下新增文件实时GPG解密到本地监控目录下
原创 2019-07-05 14:09:22 · 182 阅读 · 0 评论 -
python 读取特定TXT内容将新增文件上传到库
原创 2019-07-05 14:11:27 · 477 阅读 · 0 评论 -
Flink 实例
import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, _}import org.apache.flink.streaming.api.windowing.time.Timeobject SocketWindowWordCount { def main(args: Array[String]):...原创 2019-07-30 13:43:01 · 272 阅读 · 0 评论 -
linux 删除文件第一行的方法
删除第一行sed -i '1d' filename范围删除,删除1-3行sed -i '1,3d' filename删除第n行sed -i 'nd' filename删除最后一行sed -i '$d' filename原创 2019-08-01 14:38:53 · 1235 阅读 · 0 评论 -
python中group方法以及与groups的区别
python中的group方法group()在正则表达式中用于获取分段截获的字符串,解释如下代码(代码来自网络):import rea = "123abc456"print re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(0) #123abc456,返回整体print re.search("([0-9]*)([a-z]*)([0-9]*...原创 2019-08-16 09:59:10 · 1077 阅读 · 0 评论 -
python跳过GPG弹出窗口进行GPG解密
import gnupggpg = gnupg.GPG(homedir='/root/.gnupg')filename=''outputPath=''stream=open(filename,'rb')data=gpg.decrypt_file(stream, always_trust=False, passphrase='解密密码', output=outputPath)...原创 2019-07-02 13:39:03 · 855 阅读 · 0 评论 -
DataFrame输出操作
查看DataFrame API发现DataFrame中提供了很多种输出操作方法。其中save方法可以将DataFrame保存为文件,save操作有一个可选参数SaveMode,用这个参数可以指定如何处理数据已经存在的情况。另外,在使用HiveContext的时候,DataFrame可以用saveAsTable方法将数据保存成持久化的表。与registerTempTable不同,sa...原创 2019-07-02 09:31:09 · 4593 阅读 · 0 评论 -
程序员遇到Bug后的常见反应
程序员遇到Bug后的常见反应 1.我不知道该删掉还是重写。 2.在开始项目之前,我应该先在Github上找找有没有合适的框架 3.为什么这个脚本会需要这么多库? 4.在网上肯定能找到解决方案。 5.是否有此功能插件。 6.Web项目,不知道IE支不支持。 7.从逻辑上,这本身就不合乎逻辑。 8.我花了30分钟写一个函数,2...原创 2018-08-10 21:29:59 · 324 阅读 · 0 评论 -
springmvc的拦截器实现基于url的拦截(权限管理)
使用基于url拦截的权限管理方式,实现起来比较简单,不依赖框架,使用web提供filter就可以实现。问题:需要将所有的url全部配置起来,有些繁琐,不易维护,url(资源)和权限表示方式不规范。所以才有了shirohttps://blog.csdn.net/qq_38704184/article/details/839021131.web.xml<servlet&...原创 2018-11-09 19:43:17 · 4915 阅读 · 0 评论 -
淘宝技术这十年
淘宝现状高并发已经成为当前互联网企业面临的巨大挑战!例如2015年“双十一”全球狂欢节正式落下帷幕,天猫最终交易额也达到了创纪录的912.17亿元!参与交易国家和地区达到232个,双十一支付宝最高峰每秒处理的交易笔数是8.59万笔,在线人数峰值达到4500万。淘宝的核心技术(国内乃至国际的Top,这还是2011年的数据)拥有全国最大的分布式Hadoop集群(云梯,2000左右节点,24...原创 2018-11-15 18:54:47 · 210 阅读 · 0 评论 -
大型互联网架构图
CDN:CDN的全称是Content Delivery Network,即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节...原创 2018-11-14 20:45:11 · 1178 阅读 · 0 评论 -
python redis3.0 更新踩坑 zadd zincrby
在维护代理池时报错1:zincrby(REDIS_KEY,proxy,-1)redis.exceptions.ResponseError: value is not a valid float查看文档后发现zincrby()跟新为zincrby(self, name, amount, value)解决方案: zincrby(REDIS_KEY,-1,proxy)...原创 2019-06-14 11:05:04 · 996 阅读 · 0 评论 -
用PMML实现机器学习模型的跨平台上线
https://www.cnblogs.com/pinard/p/9220199.html原创 2019-06-19 11:31:27 · 267 阅读 · 0 评论 -
KafkaOffsetMonitor0.4.6安装使用
https://blog.csdn.net/guang564610/article/details/80067011原创 2019-06-14 17:20:53 · 509 阅读 · 0 评论 -
服务器请求方式
我们平常遇到的绝大多数请求都是GET或post请求,另外还有一些请求方法:如GET,HEAD,POST,PUT,DELETE,OPTIONS,CONNECT,TRACE方法 描述 GET 请求页面,并返回页面内容 HEAD 类似于get请求,只不过返回的相应中没有具体的内容,用于获取报头 POST 大多数用于提交表单或上传文件,数据包含在请求体中 PUT...原创 2019-06-17 18:01:22 · 357 阅读 · 0 评论 -
EasyScheduler学习(一):部署与安装
http://note.youdao.com/noteshare?id=67d3d798cb80defaf494c5d8fcdf6806原创 2019-07-01 14:30:09 · 4341 阅读 · 0 评论 -
pandas中的axis=0,axis=1,傻傻分不清楚
https://www.cnblogs.com/nxf-rabbit75/p/10044801.html转载 2019-08-22 13:36:26 · 526 阅读 · 0 评论