代码量统计

shell命令统计代码量

项目代码总量

find . -name *.scala | xargs -ixxx wc xxx | awk '{a=a+1;b=b+$1;c=c+$2;d=d+$3}END{print "scala : ",a,b,c,d}'
find . -name *.java  | xargs -ixxx wc xxx | awk '{a=a+1;b=b+$1;c=c+$2;d=d+$3}END{print "java  : ",a,b,c,d}'

子项目代码量

modules=(
common/tags
......
external/docker-integration-tests
) ; echo ${modules[0]}, ${modules[1]}, ${modules[2]}

for module in ${modules[@]}
do
    echo module: $module;
    pushd $module;
    find . -name *.scala | xargs -ixxx wc xxx | awk 'BEGIN{a=0;b=0;c=0;d=0}{a=a+1;b=b+$1;c=c+$2;d=d+$3}END{print "scala : ",a,b,c,d}';
    find . -name *.java  | xargs -ixxx wc xxx | awk 'BEGIN{a=0;b=0;c=0;d=0}{a=a+1;b=b+$1;c=c+$2;d=d+$3}END{print "java  : ",a,b,c,d}';
    popd;
done | sed '/^~/d'

Spark 2.0.2 代码量统计结果

项目代码总量

language  files    lines    words     bytes
scala:     2468   539742  2222405  20480468
java :      744   140892   466800   4842962

子项目代码量

language files  lines   words    bytes
module: common/tags
scala :     2      55     379     2489
java  :     8     248    1524    10751
module: common/sketch
scala :     3     366    1330    12299
java  :     9    1539    6299    48167
module: common/network-common
scala :     0       0       0        0
java  :    78    9363   36632   333770
module: common/network-shuffle
scala :     0       0       0        0
java  :    27    3727   13832   140542
module: common/unsafe
scala :     1     248     865     7536
java  :    19    3340   13105   114939
module: launcher
scala :     0       0       0        0
java  :    20    4070   15096   135086
module: core
scala :   690  139395  589953  5361620
java  :    94   12966   53765   474634
module: graphx
scala :    56    8316   41318   324711
java  :     5     170     986     6461
module: streaming
scala :   140   30115  129284  1180826
java  :    13    2936    8632   107994
module: sql/catalyst
scala :   302   70205  294665  2768746
java  :    19    3070   12112   103685
module: sql/core
scala :   404  111154  434654  4096413
java  :    60   10475   38915   375205
module: mllib-local
scala :    15    4684   20575   154996
java  :     0       0       0        0
module: mllib
scala :   411   91332  379423  3360422
java  :    69    5454   20513   199049
module: tools
scala :     1     158     686     6558
java  :     0       0       0        0
module: sql/hive
scala :   102   32742  120357  1230307
java  :    16    2093    6845    69522
module: repl
scala :    19    5874   25157   217294
java  :     0       0       0        0
module: common/network-yarn
scala :     0       0       0        0
java  :     2     391    1610    14754
module: yarn
scala :    37    8864   35684   352392
java  :     0       0       0        0
module: sql/hive-thriftserver
scala :    17    3369   11129   119044
java  :   171   68252  187916  2232723
module: assembly
scala :     0       0       0        0
java  :     0       0       0        0
module: external/flume-sink
scala :     7     997    4723    38439
java  :     0       0       0        0
module: external/flume
scala :    11    1524    6143    55187
java  :     4     146     703     6013
module: external/flume-assembly
scala :     0       0       0        0
java  :     0       0       0        0
module: external/kafka-0-8
scala :    16    3705   15343   142940
java  :     4     496    1539    16157
module: examples
scala :   179   15305   65242   554308
java  :   114   10052   39596   373169
module: external/kafka-0-8-assembly
scala :     0       0       0        0
java  :     0       0       0        0
module: external/kafka-0-10
scala :    12    2867   11897   108329
java  :     5     488    1678    18250
module: external/kafka-0-10-assembly
scala :     0       0       0        0
java  :     0       0       0        0
module: external/kafka-0-10-sql
scala :    11    2357    9455    89772
java  :     1      21     140      900
module: external/java8-tests
scala :     1      30     170     1176
java  :     3    1300    4017    48899
module: external/spark-ganglia-lgpl
scala :     1      90     318     3256
java  :     0       0       0        0
module: external/kinesis-asl
scala :    14    3084   13617   132459
java  :     2     253    1133    10685
module: external/kinesis-asl-assembly
scala :     0       0       0        0
java  :     0       0       0        0
module: external/docker-integration-tests
scala :     6     721    2969    30188
java  :     0       0       0        0