数据小猴子-CSDN博客

原创 java调用python脚本文件

本文介绍java调用python脚本文件，通过jython调用，通过实战案例介绍，直接调用python脚本文件方法和类对象。依赖jar版本jython-2.7.0.jarpython脚本文件：#!/usr/bin/env python# coding:utf-8'''Created on 2018年10月15日@author: lzw'''class JavaPytho...

2018-10-15 23:04:03 1862 2

原创 python hadoop stream 提交多模块python

hadoop jar streaming提交多个模块python文件。 1.python工程结构：python包分为com/main,com/pk 2.python代码工具模块 SplitStr.py#! /usr/bin/env python #coding=utf-8'''Created on 2017年4月18日@author: lzw''

2017-04-18 19:18:22 1088

原创网站架构核心要素

软件架构的核心5要素：性能、可用性、伸缩性、扩展性和安全性。性能性能是网站的一个重要指标。对于网站、应用app来说，现在的用户无法忍受一个响应缓慢的网站或者app。网站的打开缓慢将会严重导致用户流失，对于app来说可能甚至影响用户直接卸载app，很多时候好性能问题也是网站架构升级优化的触发器，因此性能是网站架构设计的一个重要设计指标。衡量网站性能有一系列指标，有响应时间、TPS

2017-04-15 13:58:05 606

原创廉价磁盘的可用性和容错能力

在互联网和移动互联网时代，大型网站时代都采用廉价服务器部署服务，因此大型网站都必须具有高性能、高可用技术架构，其中包括web层、应用服务层、数据层、存储层。存储层我们采用廉价磁盘存储数据，数据是一家互联网或移动互联网公司的核心竞争力，如何保证廉价磁盘的可用性和容错能力，是我们必须要关注的核心。今天我们来介绍一下廉价RAID（磁盘冗余阵列技术）。RAID技术可以通过硬件实现，也通过软件实现，在传

2017-04-08 21:29:49 1174

原创 python hadoop stream 传参

用python写mapreduce，会遇到通过在shell脚本中传参数，通常有两种方式1.第一种方式通过sys.argv 获取参数值mapper代码: countmapper.pyimport sysarg1 = sys.argv[1]arg2 = sys.argv[2]for line in sys.stdin: line = line.strip() item,

2017-03-31 20:17:03 1702 2

原创日志级别之前增加自定义字段

最近阅读zookeeper源代码，发现可以通过logback在日志级别之前能够增加自定义字段。举例：在日志中增加myid :serverid输出方式:2017-03-08 01:09:51,763 [myid:2] - INFO [SyncThread:2:FileTxnLog@203] - Creating new log file: log.600000001

2017-03-21 19:04:12 3110

原创 volatile与synchronized

讲解一下java语言中的volatile和synchronized区别：volatilevolatile 可以实现共享变量可见性，但不是原子性操作，不需要加锁，比synchronized更轻量，不会阻塞线程volatile是一种稍弱的同步机制，volatile变量，用来确保将变量的更新操作通知到其他线程。volatile变量不会被缓存在寄存器或者对其他处理器不可见的地方，因此在读取

2017-03-12 13:14:36 217

原创 java并发代码同步

java同步设计考虑是每个研发人员头疼的问题，往往不知如何判断同步代码块的合理大小，要做到这点，必须需要在各种设计需求之间进行权衡，包括安全性（这个需求必需满足）、简单性和性能。有时候，在简单性与性能之间会发生冲突，一定不要盲目地为了性能而牺牲简单性（这可能会破坏安全性）。当使用锁时，你应该清楚代码块中实现的功能，以及在执行该代码块时是否需要很长的时间。无论是执行计算密集的操作，还是在执行某个

2016-03-09 22:29:52 301

在编写并发应用程序时，应当尽量使用正确的编程方法。首先使代码正确运行，然后再提高代码的速度。即便如此，最好也只是当性能测试结果和应用需求告诉你必须提高性能，以及测试结果表明这种优化在实时环境中确实能带来性能提升时，再进行优化。在编写并发代码时应始终遵守这个原则。由于并发错误是非常难以重现和调试的，因此如果只是在某段很少执行的代码路径上获得了性能提升，那么很可能被程序运行时存在的失败和风险而抵消，达

2016-03-07 21:59:27 224

IT码农之路